华为发布昇腾，华为的升腾ai芯片做什么用的

机器之心报告编辑：Zenan

华为的Atlas一口气提升了一倍业界最高水平。

“硬件是AI的基础，但软件是核心。目前，华为升腾70%的研发人员都专注于软件开发，我们致力于释放升腾处理器的全部潜力。我们希望如此。”徐迎同说道。华为升腾计算业务总裁。在本周举行的HAI 2020新品发布会上，华为发布了业界迄今为止最完善的AI全栈软件平台，涵盖了从基础软件到应用功能的各个方面，以及业界最强大的AI处理器“提升”。在这个系列之后，软件成为华为升腾技术发展的新方向。

华为升腾计算业务总裁徐英童出席发布会。这是华为首次公开Ascend AI全栈软件平台的全部功能。更低的价格和双倍的性能在后摩尔定律时代，当人们想要提高计算能力时，他们主要依赖于计算堆栈的“顶层”：软件、算法和硬件架构。这将是新历史的开始。前段时间，《科学》杂志《There’s plenty of room at the Top: What will drive computer performance after Moore’s law》发表的一篇文章引发了广泛讨论。研究人员指出，在软件层面也有可能找到显着提高人工智能计算性能的方法。在HAI 2020大会上，华为展示了其在单张Atlas300I卡上支持80路1080P智能视频分析的能力，是当前竞争对手Tesla T4的两倍。这背后是硬件架构设计和强大的软件贡献。

截至2018年，日本的摄像头数量已超过2亿，尽管摄像头数量不断增加，视频数量也在快速增加，但大部分视频内容都是无效的。需要手动处理来删除大部分无效视频数据。智能技术对视频进行智能分析。对于技术供应商和用户来说，大规模应用智能视频分析技术需要解决算法准确性问题并不断降低应用成本。近年来随着深度学**等技术的发展，AI算法的识别精度不再是问题，但数据的增加与模型计算能力成倍增长的需求之间存在很大矛盾，社会，有。芯片制造工艺的改进缓慢。华为Atlas 300I单卡视频分析能力为公安、交警等部门以及众多企业用户的应用场景带来了极大的便利。推理卡需要至少80 通道的高分辨率视频。这是怎么做到的呢？从视频解码到系统优化，华为在任务处理的各个环节都做到了极致优化。首先，在执行面部识别、视频结构化和动作识别等智能视频分析之前，必须将视频流解码为图像流，然后输出到深度学**算法。每颗Ascend 310芯片均配备DVPP硬件单元，可支持至少16路1080P@30fps视频解码需求。对于25FPS视频流，可以支持20多个——通道。 4个这样的芯片。

Ascend 310芯片逻辑结构图。视频解码后，还需要将数据暂时存储在计算卡上。这里，智能视频分析的通道越多，需要缓存的目标图像就越多，占用的存储空间也就越多。华为在Atlas 310I计算卡中装载了总计32GB的DDR存储空间。同时，异构计算架构CANN 3.0对视频解码流程和底层驱动进行了优化，每个1080P视频占用解码存储空间小于90MB。硬件实现后，设备的最大算力就固定了，进一步提高算法性能的任务就落到了软件优化上。华为工程师希望从算子性能和神经网络结构等方面提高计算效率。 ATC是Ascend系列处理的离线模型转换工具，集成了大量深度优化的算子和算子融合规则，保证了离线算子转换过程中计算图的优化和统一，增加了硬件资源占用，改善了网络化。表现。从之前的各种实验结果来看，Ascend处理适合加速YOLO V3、Inception V3和ResNet系列神经网络，因此对于智能视频分析任务（比如动态人脸识别），YOLO V3可以选择诸如架构中，使用YOLO V3-Tiny等算法模型作为目标检测算法，并使用Inception V3和ResNet系列算法作为分类、特征提取算法或其他网络模型的主网络，显着提高处理性能。）充分利用您的计算能力。经过上述四个优化步骤后，华为将通过多线程时间并行、合理多批次推理、异构资源优化等进一步优化整个流程的各个部分，最大限度地利用异构计算资源，提高流程线性度。系统改进将提高吞吐量。采用升腾芯片进行智能视频分析，将大幅降低视频分析的单路硬件成本，为AI智能视频分析技术的大规模推广奠定基础。升腾AI全栈软件平台Atlas300I极其易用，性能领先业界，体现了华为升腾软件的强大。华为在HAI大会上发布的新产品包括异构计算架构CANN 3.0、全场景AI计算框架MindSpore、全流程开发工具链MindStudio 2.0、Ascend应用使能等。提供的功能（例如MindX）涵盖了从算子和模型开发到应用程序开发的各个方面。这意味着您可以使用一组工具执行所有任务。 “把简单留给别人，把复杂留给自己。华为Ascend AI全栈软件平台可以最大限度地发挥硬件性能，降低AI应用开发的门槛。”徐迎同在发布会上表示。

到目前为止，我们在实施尖端人工智能技术方面面临着许多挑战。 “选择哪种AI模型对于行业用户来说是一个难题。我们发现很多客户还在使用三四年前提出的相对落后的模型。技术升级缓慢，技术拖了英雄的后腿。”徐英童说道。从AI算法到产品应用的过程很漫长，初创公司没有时间和精力来完成从模型获取到数据准备再到最终自适应开发的整个过程。即使在一些大公司，对人工智能人才的高专业需求也会影响人工智能技术在行业中的采用。华为认为这些问题不应该留给开发者来解决，新发布的MindX和CANN 3.0就是为了直接利用AI而设计的。华为升腾计算业务CTO周斌博士表示，“汽车司机更感兴趣的是研究汽油如何提炼或者发动机如何工作，我感兴趣的是如何将人员和货物准确地运送到目的地。” “我们认为，很多工业应用的AI开发者需要的是AI能力的支持，而不是研究原理的支持。这也是我们推出MindX的初衷，你只需要关注如何。”MindX 1.0引入了“2+1+X”模型，有两个平台：MindX DL（Atlas深度学**平台）和MindX Edge（Atlas智能边缘平台）指的是它们分别面向云侧和边缘侧。 1 指向首选模型库Model Zoo。

另一个重要的软件系统是CANN 3.0异构计算架构。自2018年搭载华为第一代AI芯片发布以来，CANN已经经历了两次重大版本更新，8月10日发布的CANN 3.0的核心理念是通过云和架构自动部署和支持多种业务。计算架构。同时支持向后兼容和演进。 CANN 3.0不仅仅是一个软件或平台；它是一个完整的开发系统，包括编程语言TBE、编译和调试工具以及编程模型。得益于CANN 3.0架构优化，华为实现了Atlas 300I推理卡实时处理80路视频的能力（此前业界最高水平为40路）。华为表示，在实验室中这个数字可能会更高。

对于人们如何将AI技术应用到各个行业，华为给开发者做了一个简单的画像：顶级开发者希望开发AI算子和神经网络；只有1%的开发者需要使用CANN 3.0和Mind Studio解决方案。第二类是AI应用开发者，占比10%。他们需要人工智能能力来帮助进行各种研究。这既需要人工智能的基础知识，也需要相关领域的知识。你需要的是开源人工智能框架MindSpore——。大多数情况下，开发者不需要了解AI算法的具体实现。 “第三类开发者是90%将AI技术视为一种服务的客户。他们不需要了解他们的应用程序背后是否有YOLO v3、ResNet50或其他一些算法。华为凭借新的MindX 1.0，我们可以完全加速这种类型的开发，“工作开发的速度”，徐英桐说。虽然华为对软件的关注往往是过去华为发布会的关注焦点，但最受关注的始终是硬件和芯片。今年的HAI大会有所不同，华为用了大量的篇幅来讨论软件的重要性。正如研究人员所说，除了开发新形式的人工智能硬件外，只有软件和硬件的结合才能释放人工智能强大的计算能力。在这方面，华为也证明了自己可以做到最好。华为的全场景AI技术已经部署在包括华为自身在内的众多客户的业务中。在松山湖园区，基于Atlas的智能制造解决方案正在计算产品生产线上大规模落地。 ——AI技术贯穿于华为制造的方方面面。 Atlas 板也是使用Atlas 技术制造的。人工智能可实现“二级检测”，完成标签缺陷检测、缺失螺丝等任务，将质检精度从传统机器视觉质检的90%提升至99.9%，提高工作效率。先后派出3次质检人员。华为在工厂的工作站级、生产线级、车间级实现了人工智能，覆盖80多条生产线，面向云计算、5G通信、终端等产品。为了实现如此大规模的AI应用，除了构建软件工具外，华为仅投入了3名开发人员。 “去年，华为的Ascend生态布局取得了阶段性成果，目前全国已有60所大学开设了Ascend课程，预计今年年底这一数字将增加到100多所。”这些进展只是一小步，当前的人工智能技术正处于爆发性增长的前夜。”徐英桐说。

在HAI 2020大会上，华为还预览了其下一代Ascend处理器。华为AI训练卡搭载新一代芯片，性能超越Nvidia A100。华为将通过提升硬核能力和软硬件协同能力，保持开源开放，吸引更多合作伙伴，利用前沿技术帮助Ascend实现产业化，引领AI未来。