国产半导体技术，国产半导体设备突破
chanong
|（报告撰写/作者：中泰证券、王芳、杨旭、李雪峰）
1.大型机型发展将鼓励硬件升级，需求和政策将鼓励国产替代1.1.国产计算能力大，国产化率低，空间广阔，计算能力有限，是未来经济发展的基础。计算能力对国民经济的发展影响很大。根据IDC 《2021- 2022 全球计算力指数评估报告》数据，平均算力每提高一点，数字经济和GDP分别增长3.5%和1.8%。算力作为数字经济时代的关键生产力要素，已成为数字经济发展的核心支撑和驱动力。当一个国家的计算能力指数达到40/60分或更高时，GDP增长的推动力将增加1.5/3倍。从下游细分来看，人工智能计算和边缘计算是市场增长的关键驱动力，将引领算力实现新的快速增长。我国算力市场空间巨大，国产化率有望快速提升。政策方面，我国先后发布了《全国一体化大数据中心协同创新体系算力枢纽实施方案》、《算力基 础设施高质量发展行动计划》、《“十四五”数字经济发展规划》等一系列文件推动计算基础设施建设。此外，国家正在多地推进智能计算中心建设，逐步由东向西扩展。目前，我国已有30多个城市正在建设或拟建智能计算中心。此外，根据科技部发布的政策要求，“在混合部署的公共算力平台中，国产芯片提供的算力价值名义上超过60%，国产开发框架应优先考虑”。考虑到AI芯片的使用，使用率要达到60%以上。”国内AI渗透率有望快速提升。 IDC数据显示，未来我国智能计算能力将快速增长，2021年至2026年我国智能计算能力年复合增长率预计将达到52.3%。 FLOPS（Floating Point Operations Per Second）是每秒浮点运算的次数，代表浮点运算的速度。浮点计数使用浮点数使用不同长度的二进制数字来表示数字。一般用4个字节，即32位的二进制数来表示数字。因此，FP32/FP64/FP16分别代表单精度、双精度、半精度。 FP64常用于需要高精度的科学计算和超级计算，FP32和FP16主要用于AI深度学**。
TF32是NVIDIA提出的替代FP32的单精度浮点格式。 TF32 (TensorFlow32) 是NVIDIA A100 Ampere 架构GPU 上的一种新数据类型，它使用与半精度(FP16) 运算相同的10 位尾数精度。这个精度水平远远超过了人工智能工作负载的精度要求。同时，TF32采用与FP32相同的8位指数位，可以支持与FP32相同的数字范围，在性能、范围和精度之间提供了良好的平衡。 NVIDIA API 库允许用户在其应用程序中充分利用TF32，而无需进行任何代码更改。 TF32 Tensor Core 基于FP32 输入执行计算并生成FP32 格式的结果。通过降低精度，TF32 中新的单精度数据类型取代了FP32 中原始的单精度数据类型。这减少了数据占用的空间，并在相同的硬件条件下允许更多、更快的操作。 2024年至2025年，我国算力规划增速将超过100EFLOPS，相当于AI算力芯片市场规模超过2600亿元。 2023年10月，成立工业和信息化部、中央网信办、教育部、国家卫生健康委、中国人民银行、国资委等6个部门，提出发展量化指标到2025年，针对算力、存储能力、存储能力、应用增强四个方面，提出“到2025年，我国计算能力规模达到300EFLOPS”、“智能计算能力比重达到35%”。据工业和信息化部部长金壮龙介绍，8月23日，全国计算能力总规模达到197EFLOPS。假设未来两年我国算力增长占智能算力的50%，对应的FP32算力相当于256万颗A100左右，市场规模为2600亿，预计超过原来的。我国AI芯片市场约占全球市场的三分之一。我国半导体产业的特点是市场规模大、国产化率低，其中以高端数字芯片最为典型。总体来看，据奇奇咨询统计，中国AI芯片市场约占全球AI市场的30%至40%，而英伟达是全球领先的GPU厂商。以其财报为例，我国是NVIDIA的主要收入来源。 NVIDIA 2023 财年中国大陆营业利润达到58 亿美元，占总收入的21.45%，而2003 财年，中国大陆营业利润仅为2.4 亿美元，占总收入的13%。随着我国人工智能产业的不断发展和应用场景的不断拓展，我们相信未来国内AI芯片市场将持续增长。 GPU市场的马太效应巨大，目前我国国产化率还不到10%。由于我国芯片产业起步较慢，高端芯片的技术突破无法通过简单的积累来实现，目前国内芯片技术远远落后于美国，在高端芯片领域的市场份额低的。从全球范围来看，据华晶产业研究院统计，NVIDIA在独立GPU竞争市场上处于垄断地位，市场份额高达88%，马太效应显着。从国内GPU市场到云秀资本：010 -30000 统计显示，国内GPU市场虽然巨大，但目前国产化率不足10%，亟待提升，国内AI还有很大空间芯片制造商。 1.2.美国禁令持续升级，国产算力置换加速美国AI禁令再次升级，GPU成控制重点，倒逼国产化加速。 2023年10月17日，美国商务部工业与安全局（BIS）宣布对中国等国家的芯片和人工智能发展进一步限制，主要包括高性能算力芯片的出口限制。在，扩大半导体制造管理，并将更多中国GPU企业添加到实体名单中。
具体细节如下。 1）芯片出口：用三个标准来定义哪些芯片被禁止向中国出口，包括总算力（TPP）、芯片性能密度（PD）以及芯片是否是设计或销售的。用于数据中心。该禁令禁止向中国出口A800和H800等前中国特别版GPU，同时也影响到消费级GPU RTX 4090。 2）制造控制：扩大对DUV光刻设备等半导体制造设备的控制，并扩大芯片设计文件的代工厂审查的地域限制。 3）实体清单：新增13家中国企业，主要是必人科技、摩尔线程等GPU企业，这些企业需要获得BIS的许可才能制造芯片。多年来，美国不断出台相关法规和禁令限制中国大陆半导体发展，包括针对性打击、国内补贴、出口管制等措施，此前8月曾颁布过“倾倒禁令”。和H800当时都在使用。禁令后发布的中国专用GPU 版本降低了计算能力和互联网带宽，现在也受到限制。英伟达针对中国市场的专用版芯片性能进一步恶化，阻碍了国内人工智能的发展。针对美国新一波的禁止性法规，NVIDIA旨在开发符合美国政府政策且不需要许可的新型数据中心产品，并计划推出H20、L20等型号。据腾讯科技讯，根据目前公布的H20参数规格，单卡算力为0.148P（FP16），约为A100的50%/H100的15%，以及6+1 HBM3e、96G容量， NVLink 增加到900G/s。由于单卡算力大幅降低，国内AI厂商相比A/H800需要采购更多的H20才能满足模型训练需求。另外，H20单卡算力较低，可能无法满足千亿参数级LLM模型训练的要求，但更适合垂直模型训练和推理。由于单卡性能不足以及资金投入加大，国内AI下游厂商将被迫加速国产替代。受禁令影响，英伟达2023年第四季度在中国大陆的营收较上季度大幅下降。受出口限制影响，NVIDIA在中国市场的营收逐渐萎缩，而2023年第三季度，NVIDIA在中国大陆的营收将达到40.3亿美元，环比增长47%。收入仅为19.5 亿美元，比上一季度下降52%。第四季度，中国大陆占英伟达总营收的8.8%，创历史新低，官方预计下一季度这一份额将保持在这一范围内。
国产AI芯片近年来取得长足进步，美国芯片禁令和国内发展更大型号的需求为国产替代提供了新的动力。目前，国内主要AI芯片厂商包括华为海思、寒武纪、海光信息、必仁科技、速源科技、慕希集成电路、摩尔线程、天枢智能芯片等。一些国产旗舰已经在算力方面展开竞争。 NVIDIA A100等世界领先产品在内存和互连方面也接近国际先进水平。据路透社报道，NVIDIA H20的FP32性能在某些关键领域不如华为Ascend 910B产品，但在互连速度方面优于910B。国内芯片厂商凭借优异的产品性能，逐渐获得下游客户的认可。据中国基金报报道，百度已订购1600台Ascend 910B，用于200台服务器。截至10月23日，华为已向百度交付了超过60%的订单，而科大讯飞在2023年Q3财报电话会议上表示，该公司在2023年初与华为Ascend达成了特别协议。他表示，已经开始研究，并已接近完成达到了华为发布的Ascend 910B的性能。您可以针对NVIDIA A100 运行基准测试。除了华为升腾之外，寒武纪元590、海光神算三号等产品也在积极推广。在美国对华制裁的压力下，我们认为H20是红线以内国产能买到的最高等级芯片，而且随着国产芯片的不断迭代，能够超越其性能效果，让国产电脑值得期待能力基础设施将会得到改善。
Llama-2总共使用了32层解码器，并在原始Llama-1的基础上进一步创新。 1）继承Llama-1的训练稳定性优势：在decoder层，将transformer的层范数替换为： RMS 范数可提高训练稳定性。根据论文《算力基础设施高质量发展行动计划》，RMS Norm 可以减少计算时间7% 到64%；2）利用Llama-1 的计算速度：位置被RoPE 取代（相对位置编码和绝对位置编码结合了位置编码的优点） ，既快又快），易于扩展长度，对学**token关系有意义）业界领先的闭源提高计算速度相比较大的模型，Llama-2 70B在知识和解决问题方面的表现更好。技能和数学能力接近GPT-3.5。 Meta在评估中保持了足够的客观性，GPT-3.5/GPT-4从OpenAI获得结果，PaLM/PaLM-2-L从学术论文获得结果，总体优于Llama-2，评估结果优于PaLM 。 MMLU（多任务语言理解、知识和解决问题能力的评估）和GSM8K（数学能力的评估）与GPT-3.5的表现接近，但与GPT-4/PaLM仍然存在较大差异。 -2-L。 Llama-2提供7B/13B/30B三个版本，免费商用，可以下载使用。正式规定了与Llama-2 许可证和模型卡相关的商业限制。 1）许可禁令明确禁止使用Llama输出和结果来增强和改进其他大型模型，Llama-2及衍生产品除外；2）许可禁令；附加商业条款要求商业平台拥有超过7亿每月都会进行Meta 许可活动，但只要他们这样做，就可以正常使用Llama-2。3）在模型卡使用限制中，我们提出不适用于英语以外的语言，这在Llama-2的商业限制中是有争议的。主要原因可能是Llama-2语料库大部分是英文，说明这个模型的局限性，而另一方面国内厂商正在通过二次训练开发Llama-2衍生品，你可以训练你的模型。国内大规模开源模型性能良好，支持免费商用，降低了AI发展门槛。 Scholar璞宇InternLM 是上海人工智能研究院与商汤科技联合多所高校联合发布的大型模型，最新发布的InternLM2 拥有2.6 万亿代币用于训练，包括7B 和20B 参数规格，并免费提供商业许可证。完全开源的大型模型。在轻量级和中量级开源模型中，InternLM2在考试、语言、知识、推理、数学、代码六个方面表现优越。 InternLM2的参数量表只有20B，属于AGIEval（含中国大学招生）。 GSM8K（数学能力评估）、MATH（数学能力评估）领域取得了GPT-3.5的霸主地位，MMLU（多任务语言理解、知识评估和问题解决（问题技能）、BBH（推理数据集） ）、HumanEval（OPENAI创建的代码生成能力评估数据集）已经达到了接近GPT-3.5的水平。目前我们继续为InternLM2的商业使用提供免费支持，但预计未来会进一步下降，因为对于很多中小企业来说，这是人工智能发展的�**？础⒋蠊婺ＤＰ驮ぜ平铀偻评砜ㄐ枨蟮脑龀ぁ９蠊婺Ｈ斯ぶ悄苣Ｐ托枰看蠹扑阌布闹С帧Ｔぱ盗肥谴笮湍Ｐ退懔ο牡闹饕锥巍＞薮蟮淖式鹜度氪蟠筇岣吡俗匝偶鳌４送猓悦拦隹诠苤乒娑ㄒ岳矗诔瘫唤共晒篘VIDIA高端训练卡，国内芯片厂商在AI训练方面与海外相比仍存在较大差距。我们相信，开源大规模模型的优越性能将帮助下游企业快速学**，降低进入AI的门槛，促进中小企业在AI领域的发展，加速人工智能领域的成长。推理需求.卡片。
2.2. Sora 等模型加速应用端成熟Sora 是一种基于扩散的Transformer 模型。凭借强大的通用视觉数据处理功能，Sora 可以生成各种长度、长宽比和分辨率的图像视频，最长可达60 秒（1 分钟）的连续高清视频。 Sora 是OpenAI 基于GPT-4 和DALL-E 等语言和图像模型的进一步突破，从静态的、类似噪声的视频开始，逐渐对视频进行去噪处理。此外，该模型能够生成具有多个角色、特定类型的运动以及主题和背景的精确细节的复杂场景，在单个生成的视频中创建多个镜头。这有助于确保您的角色和视觉风格准确且一致。基于DALLE 3和GPT增强您的语言理解。 Sora 采用两种方法来增强其模型的语言理解能力。 1）基于DALLE 3训练字幕模型（为特定图像/视频生成字幕），然后使用该字幕模型为所有视频生成字幕。训练集；2）基于GPT将用户提示转换为更详细的描述性字幕并发送给Sora。基于上述两种方法构建的大规模视频生成人工智能模型可以显着提高应用程序的文本保真度和整体视频质量。 Sora 是建立在DiT（扩散变压器）模型之上的。 DiT模型是与Transformer相结合的扩散模型。 DiT=[变量自动编码器（VAE）编码器+视觉变换器（ViT）+去噪扩散概率模型（DDPM）+VAE解码器]。根据William Peebles 和Saining Xie 论文的实验结论，当沿着模型大小和输入token 数量两个轴配置DiT 时，Gflop 最高的模型是DiT-XL/2.Masu。使用最大的XL 配置和2 的补丁大小。如果训练时间足够长，DiT-XL/2是最好的模型。随着显存带宽需求的增加，推理计算能力预计将逐渐增强。 Sora采用改进的DiT架构，其算力消耗与DiT类似。 DiT 遵循视觉变换器(ViT) 设计原则，可以提供比传统卷积网络（例如ResNet）更大的灵活性。根据DiT 架构论文的原作者判断，Sora 中的参数数量约为30 亿（是DiT-XL 模型大小的3 倍），这进一步有利于Sora 后续的灵活迭代。在推理方面，Sora 基于图像生成长视频，并在生成的视频上进行扩展，因此与使用文本或图像模型进行推理相比，所需的token 数量增加了一个数量级。对推理计算能力的需求将继续增长。此外，随着代币数量的不断增加以及推理端对算力的需求，对显存和带宽的要求也越来越高，400G光通信技术在以太网中的应用预计将增加，达到800G甚至1.6 T.应用光通信技术。 Sora 预计将在多个行业轻松商业化。 360首席执行官周鸿祎表示，Sora将AGI的实施从10年缩短到了1年。总体而言，基于Sora目前的能力，辅以支持的1分钟视频生成以及最高分辨率2048*2048，可广泛应用于广告、游戏、电影预告片等领域。现有产品： 1) 新闻业：Sora 有潜力彻底改变新闻报道方式。当突发新闻发生时，记者只需编写简短的标题，然后使用Sora模型即可立即生成相应的实时视频。
这种创新方法大大提高了新闻制作和发布的效率，使新闻报道更快、更及时；2）广告行业：企业使用Sora来改进产品功能，并根据您的品牌故事，可以在很短的时间内快速生成多个版本期限促销。视频。这种创新方式不仅提高了营销效率，还大幅降低了制作成本；3）XR：AI视频生成Sora作为大型模型，可以生成逼真的3D模型和动画，为用户提供丰富、优质的XR应用内容资源满足您的需求。虚拟世界的高标准。此外，Sora支持实时渲染，允许用户与虚拟环境实时交互，增加沉浸感，提高用户参与度，为XR应用带来更自然的交互体验。我们认为Sora当前阶段对应的是GPT-3阶段，这是一个不完整的模型，但基于GPT-3到GPT-4的跨越，Sora的功能将继续进一步完善，随着进一步的迭代辅助GPT和DALL·E系列，Sora有望在B端快速商用，带动推理端需求增长。 2.3. ASIC架构在推理端可能有优势国内厂商正在追赶更快的ASIC架构，在推理端可能有优势ASIC（专用集成电路）是为满足特定用途而设计的，定制的集成电路，只有关键的地方与特定用途密切相关的单元保留在架构中，并且更大比例的芯片空间用于支持特定用途计算。与GPGPU相比，ASIC具有高性能、低功耗、小体积等特点，对于固定用途推理端的需求具有明显的优势。与GPU 相比，ASIC 功耗更低。 ASIC 针对用途进行了优化，具有时钟门控、动态电压和动态频率等设计，与GPGPU 等更通用的架构相比，功耗更低，同时ASIC 减少了冗余单元，显着降低了功耗。为了减少芯片面积和重量，Meta 的技术负责人Olivia Wu 表示：有助于降低芯片功耗和成本。 》 1）时钟门控设计：可以关闭电路中未使用部分的信号，显着降低功耗；2）动态电压设计：当电路没有以最大容量运行时，降低电路电压以节省功耗；3）动态频率设计：在ASIC空闲或轻载时降低频率可以显着降低功耗。当ASIC 处于重负载时，增加频率可以提高性能。 ASIC 在实证研究中表现良好。论文《2023 中国半导体投资深度分析与展望》 中的研究表明，ASIC 比GPU 和FPGA 具有更好的性能和更低的功耗。以最流行的ASIC 架构之一的TPU 为例，AlphaGo 的早期版本运行在CPU 和GPU 集群上（2015 年10 月的分布式版本有1202 个CPU 和176 个GPU），后来的版本使用了TPU。取得了较好的成绩。大规模模型参数不断收敛，ASIC迎来发展机遇。尽管ASIC在理论上和实际测量中都具有优异的性能，但其通用性低、设计周期长等特点使其在人工智能早期大量参数的大型模型快速迭代的早期阶段难以在实际应用中实现。百分比将会更低。随着大规模模型的逐步发展，参数量的增加预计会逐渐收敛，比如Super Fusion CTO丁宇就表示，大规模模型的收敛是必然趋势，我就是。当大规模模型收敛时，参数趋于稳定，模型的性能在训练数据和验证数据上也达到相对稳定的状态，因此开发发挥高性能、低功耗等优势的ASIC非常重要。电力消耗，机遇可期。消耗。 ASIC 有望成为推理端芯片的主导架构。理论上来说，ASIC是一种定制芯片，在处理推理端的特定需求方面具有独特的优势。
从应用场景来看，随着更大的模型收敛，模型迭代速度减慢，增加了ASIC应用的可行性。麦肯锡公司计算得出，ASIC 是满足推理端需求的许多领域的首选芯片架构，包括语言理解、面部识别、动态定价和自动驾驶。随着大规模模型的成熟以及下游推理端需求的爆发，ASIC市场份额将快速增长。
2.4、海外各大厂商加速ASIC芯片布局谷歌：TPU是谷歌自研的AI加速芯片，其AI模型gemini采用TPU支撑算力。谷歌从2006年就开始考虑ASIC布局，并在2016年谷歌I/O开发者大会上正式宣布内部成功开发出TPU，我来了。 TPU v4 比Nvidia A100 更好，但在H100 上稍差。 TPU-v5p 芯片可提供197TFLOPS (BF16) 的峰值计算能力和820GB/s 的带宽，与上一代相比，训练性能提高2 倍，推理性能提高2.5 倍。 TPU系列采用128*128 MXU模块，更高效地运行芯片。 TPU-v1是专用于推理的芯片，TPU-v2和TPU-v3是推理和训练两用芯片，基于Volta架构（
GPGPU）相比，TPU-v3 在性能表现接近的情况下实现了更 小的芯片面积。在 MXU 模块，TPU-v2 和 TPU-v3 把 TPU-v1 的单个 256*256 MXU 修改为 4 个 128*128 MXU 卷积模型，把利用率从 22%- 30%提升至 37%-48%，带来更高的运行效率，如果进一步压缩为 16 个 64*64 模块，利用率约为 38%-52%，提升较小，但由所需控制模块 等带来的面积会大幅增加，因此 128*128 是比较理想的 MXU 模块类 型。后续的 TPU-v4 更是基于此在面积未大幅提升的情况下，以更低的 功耗（300W）实现了超 TPU-v3 2 倍的算力（275TFLOPS）。TPU-v5e 和 TPU-v5p 分别是 TPU 系列中最具成本效益和最强大的产 品，处于业内领先地位。TPU v5e Pod 平衡了性能、灵活性和效率， 允许多达 256 个芯片互连，通用性方面支持八种不同虚拟机配置，可 以由客户自行选择以服务于各种模型。TPU-v5p 主要提升方向为性 能，灵活性和规模，通过最高带宽的芯片间互联（ICI），以 4800 Gbps/chip 在 3D 圆环拓扑中将 8960 个芯片组合在一起。根据谷歌官 方数据，借助第二代 SparseCore，BF16 下 TPU-v5p 的训练效率达 TPU-v4 的 1.9 倍，如采用 INT8 进行训练则训练效率达 2.8 倍。英特尔：Gaudi2 大幅领先 A100，稍弱于 H100。英特尔是全球领先的 芯片制造商，于 2020 年 1 月收购 habana 用于生产 ASIC 芯片 Gaudi 系列，目前已推出 Gaudi、Gaudi2 和中国定制版芯片 Gaudi2C，其中 Gaudi2C 出于规避禁令的目的对算力进行了大幅下调。根据公司官网 的数据，相比于 A100，2022 年推出的 Gaudi2 能够在 BF16/FP32 精 度下实现训练端 1.70-2.44 倍表现，在推理端 1.42-2.89 倍表现，考虑 到 H100 是 A100 推理/训练表现的 3.5/2.3 倍，预计 Gaudi2 整体性能 弱于 H100。Gaudi2 在第一代 Gaudi 基础上进行了升级，助力客户降本增效。 Gaudi2 建立在第一代 Gaudi 上，制程工艺从 16nm 升级为 7nm，增加 了 FP8 精度支持，采用 HBM2e 96GB 内存和 2.45TB/s 带宽。在 Gaudi2 上继承了 24 个 RoCE2 端口（第一代 Gaudi 为 10 个），采用 八卡互联架构搭建，同时提供相应基板。通过片上 RoCE 集成，客户 可以轻松扩展配置 Gaudi2 系统以满足深度学**要求，同时由于可以通 过以太网实现 Gaudi 之间的通信，能够为客户实现额外的成本节约。亚马逊：自研 ASIC 芯片，Trainium2 性能有望实现新突破。亚马逊自 研 ASIC 芯片包括 Inferential 和 Trainium 两个系列，分别用于推理和 训练。目前推理芯片迭代至 Inferential2，峰值算力达 380TOPS （INT8），较上一代芯片提升 5 倍；训练芯片迭代至 NeuroCore-v2。ASIC 未来份额有望快速提升。相较于 GPU，ASIC 处理速度更快，但定 制化程度高，成本较大。在 AI 发展初期，各大互联网巨头纷纷自研大模 型，因英伟达 GPU+CUDA 通用性较高，下游大都采用其产品进行硬件 搭建。此外初期各家模型参数及算法不断优化升级，整体迭代速度快， 不适合采用定制化成本较高的 ASIC 方案。但未来伴随模型迭代放缓， 参数量收敛，算法复杂性要求提高，ASIC 针对特定需求开发的定制化优 势有望显现，也有利于与复杂算法有更强匹配，份额有望快速增长。国产 AI 芯片厂商有望在推理领域加速追赶。相较于训练芯片，推理芯片 对生态及多卡互联要求较小，目前国产厂商包括华为昇腾、寒武纪、燧 原科技等厂商产品均基于 ASIC 架构，全球 ASIC 市场并未形成明显的 头部厂商，国产公司后续有望逐步追赶。 三、国产算力：AI 时代乘风起3.1、华为昇腾：国产算力领军者华为昇腾（HUAWEI Ascend）系列芯片是基于华为自主研发的达芬奇 架构设计的 AI 芯片，包括训练和推理芯片，其参数及表现在国内处于领 先水平，并衍生出独特的昇腾计算产业。昇腾系列芯片主要由华为全资 子公司深圳市海思半导体有限公司研发，该子公司成立于 2004 年，除 昇腾外还拥有麒麟、巴龙、鲲鹏等自研芯片系列，研发实力强大。“软硬件+全生态”打造面向“端、边、云”的全场景 AI 基础设施。昇腾计 算产业是基于昇腾系列处理器和基础软件构建的全栈 AI 计算基础设施、 行业应用及服务，包括昇腾系列处理器、系列硬件、CANN（ComputeArchitecture for Neural Networks，异构计算架构）、AI 计算框架、应用 使能、开发工具链、管理运维工具、行业应用及服务等全产业链。其中， 以芯片为主的全硬件体系是实现 AI 训推的底层支撑，以自研计算架构为 主的软件体系是吸引开发者的活力之源，以应用软件为主的产业生态是 面向未来发展的不竭动力。昇腾硬件体系是实现 AI 训推的算力基础和底层支撑。昇腾坚持“硬件开 放”策略，为客户提供自有硬件和伙伴硬件的多样化算力选择。 1）自有硬件为昇腾系列处理器以及基于昇腾处理器和业界主流异构计 算部件的昇腾 Atlas 系列硬件产品。昇腾系列处理器主要包括昇腾 310、 昇腾 910、昇腾 910B 等，昇腾 Atlas 系列硬件产品包括各类模组板卡、 小站、服务器、集群等丰富的产品形态。昇腾自有硬件体系旨在打造面 向“云、边、端”的全场景 AI 基础设施方案，可广泛用于“平安城市智能交 通、智能医疗、智能零售、智能金融”等领域。 2）伙伴硬件指华为开放自有硬件，合作伙伴可进行集成和二次开发，或 者通过 OEM/ODM 方式开发自有品牌的服务器整机。昇腾系列处理器是硬件体系的核心。昇腾处理器专为 AI 计算设计，拥有 自研达芬奇架构的，能够覆盖端边云全场景，满足不同部署环境差异性 的算力需求。华为于 2018 年 10 月的华为全联接大会上首次阐述了华为 AI 战略，并公布了昇腾 910 和昇腾 310 两款 AI 芯片，其中昇腾 310 是 一款最大功耗仅 8W 的极致高效计算低功耗 AI芯片，2018 年商用量产， 可用于推理端；昇腾 910 在 2019 年 8 月正式商用，用于训练端。昇腾 910 首次采用达芬奇架构，基于 7nm 增强版 EUV 工艺，集成 32 个立方 体计算引擎，半精度（FP16）算力达 320 TFLOPs，相比英伟达当时的 V100 SXM 的 125 TFLOPS 高一倍以上。2023 年 9 月，华为在受美国 制裁三年后发布昇腾 910B，其性能取得重大突破，单精度算力大幅提 升，表明华为出色的芯片自研能力与昇腾 AI 处理器未来极高的增长空 间。自研达芬奇架构大幅提升 AI 算力。昇腾系列 AI 处理器创新使用达芬奇 架构，是华为自研的面向 AI 计算特征的全新计算架构，具备高算力、高 能效、灵活可裁剪的特性。基于达芬奇架构的 AI 核内含 3D Cube、Vector 向量计算单元、Scalar 标量计算单元等，共同保障 AI 计算的高效处理。 在神经网络模型中 99%的计算都需要用到矩阵乘法运算，这部分运算是 AI 计算的核心，在达芬奇架构中由 3D Cube 来完。3D Cube 能够在一 个时钟周期内完成 4096 次乘加运算，相比传统 2D 结构运算周期短、时 延低、利用率高。此外，AI 核中的 Buffer L0A、L0B、L0C 用于向 3D Cube 输送数据和存放计算结果。高速互联方面：昇腾处理器还拥有自研 HCCS 接口，可以完成昇腾处理 器之间的互联，最新一代昇腾 910B 的 HCCS 互联速度可达 392 GB/s， 结合 PCle 5.0 和 RoCE 接口可以组建更具规模的训练系统，全面释放 硬件算力。AI 集群是大模型训练的最终硬件产品形态，昇腾 AI 集群可支持万卡规 模。华为基于昇腾系列处理器开发有一系列昇腾 Atlas 硬件产品，包括 模块、板卡、智能边缘、服务器、集群等，可广泛应用于教育科研、智 慧城市、智慧交通等各种算力需求水平的领域。在大模型训练中由于单 卡算力有限，通常会基于多卡互联形成千卡乃至万卡规模的集群，华为 能够提供或组装包括集群在内的全系硬件产品。2023 年 7 月华为宣布 昇腾 AI 集群规模从最初的 4000 卡集群扩展至 16000 卡，成为业界首个 万卡 AI 集群，拥有更快的训练速度和 30 天以上的稳定训练周期，十倍 领先业界。推出异构计算架构 CANN，构筑生态护城河。CANN（Compute Architecture for Neural Networks）是华为针对 AI 场景推出的异构计算 架构，对上支持 PyTorch、MindSpore、TensorFlow 等多种 AI 框架，对 下服务 AI 处理器与编程，发挥承上启下的关键作用，是提升昇腾 AI 处 理器计算效率的关键平台。 CANN 提炼出三层逻辑架构——应用层、芯片使能层、计算资源层，应 用层提供给用户各种算法开发、调优工具，芯片使能层提供性能提升解 决方案，计算资源层提供数据处理及运算执行设备等。三层逻辑架构展 现了其极简开发、极致性能、开放生态的特点，这些特点对昇腾芯片夺 取市占率具有战略性意义： 1）极简开发：CANN 针对算子开发场景推出 Ascend C，原生支持 C 和 C++标准规范，最大化匹配用户开发**惯；通过多层接口抽象、自动并行计算、孪生调试等关键技术，助力 AI 开发者降本增效。 2）极致性能：通过资源灵活调度、算子深度融合、计算高度并行，对大 模型性能深度优化。 3）开放生态：全面兼容业界融合算子、AI 框架、加速库和主流大模型。CANN 发展迅速，同 CUDA 各方面差距不断缩小。CANN 和 OpenCL 都是异构计算架构，属于开放式生态，可对接其他类型 GPU，相比于仅 应用于自身 GPU 的 CUDA 和 ROCm 有一定优势；在运行性能方面， CANN 可将 Attenion 处理性能提升 50，虽然整体性能仍弱于 CUDA， 但已有起色；在开发者数量方面，2021 年 CANN 已拥有超 60 万开发 者，截至 2023 年年末，昇腾 AI 共发展了超 220 万开发者，孵化了 2600 各解决方案，同 CUDA 的 400 万开发者数量和 3000 应用程序的差距迅 速缩小。AI 框架重现多足鼎立之势。AI 框架缘起神经网络方法，神经网络方法是 以统一算法设计视角解决各类应用任务并拟合海量数据的方法，随着开 发效率和算力的需求不断提高，能够提供可视化界面并专注于应用程序 业务逻辑的 AI 框架逐渐诞生。自 2000 年起，AI 框架竞争格局从最初的 MATLAB、Numpy、SciPy到2015年的PyTorch（Facebook）、TensorFlow （Google）双头垄断，经历了一次次竞争——垄断——竞争的循环。随 着大模型时代的到来，AI 框架已形成了新的竞争格局，除传统的 Pytorch 和 TensorFlow 外，华为 MindSpore、旷视天元 MegEngine、百度 Paddle 等也占据了一定市场份额，形成多足鼎立之势。昇思 MindSpore 旨在实现易开发、高效执行、全场景覆盖三大目标。 其中，易开发表现为 API 友好、调试难度低；高效执行包括计算效率、 数据预处理效率和分布式训练效率；全场景则指框架同时支持云、边缘 以及端侧场景。MindSpore 易用性突出，支持语言将继续扩充。同 PyTorch、TensorFlow、 Paddle 相比，MindSpore 易用性优于 PyTorch 和 TensorFlow，能够仅 用一行代码切换静态图和动态图机制；兼容性优于 Paddle，适用于多种 CPU/GPU/TPU。根据《中国人工智能框架市场调研报告》，开发者选择 AI 框架时，首先考虑的三个因素是易用性、性能、支持的硬件，MindSpore 的三方面表现均较为突出，后续也会对接 C、C++、仓颉等语言以便利 更多开发者需求。MindSpore 国内认可度排位第二，社区活跃度排位第四，社区规模有望 进一步突破。随着 MindSpore 迅速发展，逐渐为开发者所接受。根据《中 国人工智能框架市场调研报告》统计，37%的开发者认为 MindSpore 是 最适合做 AI for science 的 AI 框架，排位第二，仅次于 TensorFlow；并被 11%的开发者认为是社区活跃度表现更好，排位第四，和第三的 Paddle 齐头并进。考虑到 MindSpore 是四个 AI 框架中最年轻的一个， 其社区规模有望实现新的突破。3.2、寒武纪：国内领先的 AI 芯片龙头寒武纪是 AI 芯片领域的独角兽。公司成立于 2016 年 3 月 15 日， 专注于人工智能芯片产品的研发与技术创新，产品广泛应用于消费电子、 数据中心、云计算等诸多场景。公司是 AI 芯片领域的独角兽：采用公 司终端智能处理器 IP 的终端设备已出货过亿台；云端智能芯片及加速 卡也已应用到国内主流服务器厂商的产品中，并已实现量产出货；边缘 智能芯片及加速卡的发布标志着公司已形成全面覆盖云端、边缘端和终 端场景的系列化智能芯片产品布局。人工智能的各类应用场景，从云端溢出到边缘端，或下沉到终端，都离 不开智能芯片的高效支撑。公司面向云端、边缘端、终端推出了三个系 列不同品类的通用型智能芯片与处理器产品，分别为终端智能处理器 IP、 云端智能芯片及加速卡、边缘智能芯片及加速卡，其中云端智能芯片主 要是为云端人工智能处理提供强大的计算能力支撑；云端智能加速卡是 基于云端智能芯片，增加外围电路模块形成的卡板产品，通过主机的附 加接口接入系统。寒武纪云端推理主要包含 8 个产品，目前迭代至 MLU370 系列，最大峰值算力高达 256TOPS（INT8）。寒武纪推理芯片包括 MLU100、MLU270、 MLU370 和玄思 1001 等 4 个系列共 8 个产品，其中 2022 年推出的 MLU370 系列基于双芯片四芯粒思元 370 打造。思元 370 芯片采用 7nm 制程工艺，是寒武纪首颗采用 chiplet 芯片技术的 AI 芯片，也是国内第 一款公开发布支持 LPDDR5 内存的云端 AI 芯片；公司还基于 4 张 MLU370-X8 产品集成了玄思 1001 智能加速器，以在生物信息、医疗影 像、语言模型等行业及可沿长江广泛应用。370 系列在高密度云端推理领域具有明显优势。MLU370-X8 提供 256TOPS（INT8）的峰值算力，高于英伟达 L20。同国内云端推理芯片 相比，在 150W 功耗推理卡中，MLU370-X4 峰值算力和昆仑芯 R200 和 燧原 I20一致，同为 256TOPS（INT8）。在高密度云端推理领域，MLU370- S4 的能耗比高达 2.56，具有显著优势。全面研发优化推理软件平台模型性能、大模型和 AIGC 推理业务支持、 推理性能优化三个方面，助力客户降本增效。模型性能优化方面，寒武 纪针对语音合成、搜索推荐和视觉处理中高频使用网络进行了优化，目 前达到了可落地要求；大模型和 AIGC 推理业务支持方面，寒武纪研发 大语言模型分布式推理加速库 BangTransformer，进行了 LLaMA、GLM、 BLOOM、GPT-2 等主流生成式大语言模型的适配工作；在推理性能优 化方面，BangTransformer 支持算子融合、张量并行、量化推理、Flash Attention 等优化特性，用于辅助图像生成的 MagicMind 是业界首个基 于 MLIR 图编译技术达到商业化部署能力的推理引擎，在功能、性能、 兼容性上都有良好表现，同时基于 MagicMind 到 PyTorch 的集成，客户 无需代码迁移也能够享受 MagicMind 带来的性能加速，同时，MagicMind 新增了多款云、边、端、车硬件平台支持，并完善了 Sample Code、Best Practice 等用户文档，进一步提高了用户使用体验。推理软件平台三个 维度的研发优化，大幅提升了推理业务运行效率，助力客户降本增效。2022-2023 年寒武纪接连获亿级订单。截至 2023 年 12 月，中国移动已 有 12 个省公司、超过 70 个 AI 业务完成向寒武纪思元（MLU）系列云 端智能加速卡的迁移，并在可行性、易用性、运算性能方面得到了良好 反响，实测中超越国际主流产品水平。2023 年内，寒武纪先后中标“沈 阳市汽车城新型基础设施建设项目-智能计算中心”和“浙东南数字经济产业园数字基础设施提升工程（一期）”两个项目，提供包括但不限于智能 计算子系统、数据存储子系统、网络交换子系统、软件平台、集成服务 和维保服务等，合计贡献营收达 9.08 亿元。2022 年，寒武纪中标“南京 智能计算中心项目（二、三期）”项目，贡献营收 4.43 亿元。 寒武纪市场认可度持续提升，签署多个人工智能领域合作协议。2022- 2023 年，寒武纪先后与百川智能、中电工程、天瞳威视达成战略合作。 目前，寒武纪已同百川智能旗下的大模型 Baichuan2-53B、Baichuan2- 13B、Baichuan2-7B 等已完成全面适配，助力寒武纪思元（MLU）系列 产品性能均达到国际主流产品的水平。此外，公司云端硬件产品夺得多 个奖项，2018 年 11 月，于深圳举办的第二十届中国国际高新技术成果 交易会上，寒武纪思元 100 智能芯片、思元 100 加速卡连续斩获高交会 组委会颁发的“优秀创新产品奖”； 2019 年 10 月，思元 270 芯片获得第 六届乌镇世界互联网大会“世界互联网领先科技成果奖”；2021 年 7 月， 公司的思元 290 智能芯片及加速卡、玄思 1000 智能加速器获得了由世 界人工智能大会组委会颁发的 SAIL 之星奖，寒武纪影响力持续提升。3.3、海光信息：国产 CPU+DCU 龙头公司公司获 AMD 授权，X86 指令集生态环境丰富。公司成立于 2014 年，主 营业务为研发、设计和销售应用于服务器、工作站等计算、存储设备中 的高端处理器 CPU 以及深度计算处理器 DCU 等。公司产品基于 AMD 授权技术，兼容市场主流的 x86 指令集，具有成熟而丰富的应用生态环 境。同时，海光处理器内置专用安全硬件，支持多种先进的漏洞防御技 术，内置高性能的国密协处理器和密码指令集，支持可信计算的国内、 国际标准，支持领先的机密计算技术，能够进行主动安全防御，通过了 相关权威机构的安全测试，满足信息安全、数据要素安全流通的发展需 求。公司的产品包括海光通用处理器（CPU）和海光协处理器（DCU）。海 光 CPU 系列产品兼容 x86 指令集以及国际上主流操作系统和应用软件， 软硬件生态丰富，性能优异，安全可靠。公司 CPU 根据高中低端应用场 景分为 7000、5000、3000 三个系列，根据产品代际各系列产品又分为 一二三四号产品，目前公司主要销售二、三代产品，四号、五号产品在 研发中，预计明年四号产品实现出货。其中 7000 系列主要用于高端处 理器，中端产品主要用于中低端服务器，低端产品主要用于边缘计算。海光 DCU 系列产品以 GPGPU 架构为基础，兼容通用的“类 CUDA”环 境，可广泛应用于大数据处理、人工智能、商业计算等应用领域。海光 DCU 系列产品包括 Z\K\E 系列，深算一号为 Z 系列，E 代产品相较于 K 代产品性能翻倍，K 代产品相较于 Z 代产品翻倍。目前 Z100L 已实现出 货，E 系列在研中。公司产品覆盖高中低端各类场景，下游行业包括电信、金融、互联网等。 2019 年，公司主要销售一代 CPU 产品，以 7100 系列为主，面向高端 服务器市场。因为国家级教育科研项目中科院大气所“模拟器装置”项目 采购处理器，所以教育领域占比较多。2020 年，公司推出海光二号系列 产品，受益于前期认证测试，公司在电信运营商集采、金融行业等市场 份额快速增长。其中 5200 系列产品推出后即进入党政领域专项目录， 销售快速增长。2021 年，电信、金融行业需求增长较快，公司产品进入 更新换代时点。公司 7200、3200 系列产品同时进入党政领域专项目录， 7200 系列产品部分取代 5200 系列，3200 系列增长较快，3100、5100 系列产品进入销售末期。2021 年下半年，公司 8000 系列 DCU 产品实现量产，主要面向服务器集群或数据中心市场，进一步丰富了公司的产 品线。公司 CPU 产品海光一号、二号、三号已经实现商业化应用。公司 CPU 产品发展路径可分为：① 海光一号基于 AMD 授权技术，于 2018 年 4 月实现量产。②公司在海光一号基础上，对 Core 微结构进行优化，提升 处理器核心性能和安全应用性能，海光二号于 2020 年实现量产。③基 于海光二号 CPU，公司对核心和片上网络微结构进行设计优化，基于新 的工艺节点进行设计，海光三号于 2022 年实现量产。目前海光三号已 成为主力销售产品，海光四号、五号仍在研发当中。此外，海光 CPU 按 照代际进行升级迭代，每代际产品按照不同应用场景对高端处理器计算 性能、功能、功耗等技术指标的要求，细分为海光 7000 系列产品（最多 集成 32 个处理器核心）、海光 5000 系列产品（最多集成 16 个处理器 核心）、海光 3000 系列产品（最多集成 8 个处理器核心）。海光 CPU 适配主流生态，已得到浪潮、联想、新华三、同方等多家国内 知名服务器厂商的认可。公司 CPU 兼容国际主流 x86 处理器架构和技 术路线，具有优异的生态优势。公司产品海光 CPU7285 的 SPEC CPU 2017 实测性能与国际领先芯片设计企业 Intel 同期发布的主流处理器 产品的实测性能总体相当，具备良好的产品性能。GPU 巨头之争：架构先进性与生态。从英伟达和 AMD 的竞争来看，GPU 的核心在于架构的先进性和完善的生态。架构先进性方面，英伟达每两 年会更新一次架构，每次迭代都意味着更先进的制程、更多的计算处理 单元。生态方面，CUDA 发展至今已经建立了强大的生态体系。生态的 本质是对用户**惯的培养，CUDA 强大的软件覆盖率和 AI 支持框架使 其难以替代，AMD 提出的 ROCm 最有希望替代 CUDA。由此可见，能 同时适配 CUDA 等多种生态且性能优异的 GPU 将具有更强的竞争力。公司产品性能有望对标英伟达 A100。公司深算一号 DCU 采用 7nm 工 艺，在典型应用场景中，性能媲美英伟达 A100 和 AMD MI100。公司 DCU 全面兼容 ROCm GPU 计算生态，能够较好地适配国际主流商业计 算软件，解决了产品推广过程中的软件生态兼容性问题，具备良好的生 态适配能力。（本文仅供参考，不代表我们的任何投资建议。如需使用相关信息，请参阅报告原文。）精选报告来源：【未来智库】。