首页

【关注】阿里首款芯片发布！全球最强AI推理芯片是如何练成的？

新鼎资本

2019-09-26

导读：阿里第一颗芯片诞生！

阿里第一颗芯片诞生！

昨天，云栖大会现场，阿里巴巴集团CTO、达摩院院长张建锋向全场展示了含光800——阿里第一款AI芯片。

为了这款芯片，阿里一年前放下狠话，但谁也没想到一年后即亮相：不仅完成流片，还已在阿里云上正式上线。

这也是阿里平头哥成立以来首款硬件产品，是阿里20年发展史上首款自主研发、流片量产的芯片。

在芯片行业时代变革转关之际，阿里好风凭借力、快速取得突破，掌握下一阶段擂台主动权，意义和价值，或许将远超芯片本身。

不过发布现场，张建锋更想强调的是敬畏之心。

他说：“在全球芯片领域，阿里巴巴是一个新人，玄铁和含光800是平头哥的万里长征第一步，我们还有很长的路要走。”

含光800究竟如何？

含光之名，依然沿袭平头哥传统，取自神兵宝剑。

“含光”本是上古三大神剑之一，含而不露，光而不耀，正如含光芯片作用方式——无形却强劲的算力。

具体来说，这是一款云端AI芯片，主打推理，重点应用于视觉场景。

性能方面，打破现有AI芯片记录，性能及能效比全球第一。

芯片制程12nm，晶体管数量高达170亿个。

在业界标准的ResNet-50测试中，含光800推理性能达到78563 IPS，比目前业界最好的AI芯片性能高4倍。

能效比500 IPS/W，是第二名的3.3倍。

以数据横向对比，含光800展现性能，是英伟达最新T415倍，是应用最广的英伟达P4的46倍——超过去年设计之初吹下的“牛”。

目前，含光800已经率先在阿里内部多个业务场景开启大规模应用。

从视频图像识别、分类、搜索，到城市大脑等，未来还可应用于医疗影像、自动驾驶等领域。

大会现场，张建锋展示了这款芯片的强大性能。

每天新增10亿商品图片的拍立淘商品库，使用含光800识别效率可提升12倍，时间从传统通用GPU的1小时缩减至5分钟。还有城市大脑。在城市大脑中实时处理杭州主城区交通视频，需要40颗传统GPU，延时为300ms，使用含光800仅需4颗，延时降至150ms。

阿里方面称，含光800会首先在阿里内部场景业务服役，同时含光800的AI云服务也正式上线，通过阿里云对外提供AI算力，但不会直接以芯片的形式对外售卖。

此前，阿里平头哥连战连捷，过去两个月已经发布了无剑SoC平台和玄铁处理器IP，“让天下没有难造的芯片”，帮助企业降低芯片设计门槛。

现在，作为首款硬件，也是最硬核产品，含光800依然承载平头哥之志，希望通过阿里云AI云服务，让企业随时随地可以享受高性能计算。

而且也意味着阿里平头哥成立一年来，走过了软件架构（处理器IP、SoC平台）到硬件流片的完整流程。

这是阿里造芯，标志性的“交作业”时刻。

阿里造芯这一年

阿里布局AI芯片，最早曝光于2018年4月。

其后9月云栖大会，阿里宣布成立平头哥，并且先将“狠话”放下，正在打造一款NPU，架构设计上，性能成果就要比业内最好的AI处理器强大40倍。

此言一出，语惊四座。

然而一年之后的现在——成绩单时刻——阿里平头哥确实没有食言。含光800，性能46倍于P4，甚至比最新一代英伟达T4，也有15倍领先。

虽然过程并非完全顺风顺水，但过去一年，“含光”团队不仅完成了从无到有的跨越，更是超越了所有人的预期。

整个过程中，含光800团队在软硬件设计上都做了大量工作，例如做架构创新，软件编译器、框架、工具链等，后期还针对INT8数据类型进行了大量优化。

含光800芯片负责人骄旸透露，这款芯片采用自研架构，针对深度学习中使用的大量权重参数和张量数据，在支持稀疏压缩与量化处理的基础上，通过独特设计的数据访存与流水线处理技术，大大减低了I/O需求和数据的搬移。

芯片同时深度优化了卷积、矩阵乘、向量计算和各种激活函数，通过高有效的硬件资源调度和全并行的数据流处理，把AI运算的性能和能效双双推向极致。

另外，还集成了达摩院算法。针对CNN及视觉类算法深度优化计算、存储密度，可实现大网络模型在一颗NPU上完成计算。

更难能可贵的是，平头哥团队攻克了一系列挑战。

例如如何兼顾性能、良率、功耗等。平头哥在软硬件上充分考虑了这些问题，用最短的时间完成了芯片的设计、流片整个过程，7个月完成前端设计，之后仅了3个月就成功流片。

骄旸感慨，从传统造芯角度来看，几乎是一个不可能完成的任务。但最终，阿里AI芯片团队，还是创下纪录，完成挑战，把不可能变为可能。

这其中，自然有“007”们日日夜夜的苦功，不过也不容忽视乘风起势的大趋势作用。

正所谓时来天地同协力，AI时代的专芯专用需求，阿里业务场景加持优势，都是不得不说的核心原因。

source：拍信网

NPU：芯片的iPhone时刻

首先，AI时代的专芯专用需求。

顾名思义，NPU——神经网络处理器就是专门处理深度神经网络算法的芯片，而深度神经网络算法，核心是模仿生物神经网络结构特点，并且最基本特征就是模仿大脑神经元之间传递模式，并对输入的信息进行快速处理。

然而传统通用处理器基于冯诺依曼结构，其存储和运算处理相互分离，如果处理深度神经网络，需要大量读写运行操作，会受到带宽限制，效率较低。

因此以含光800为代表的神经网络芯片，根据神经网络推理运算特征，会设计特定的硬件神经元、高速连接的存储结构以及专用指令集，对内存和计算单元实现高效组织管理，实现单条指令完成多个操作，提高计算效率和内存访问效率。

简而言之，专芯专用，效率更高、成本更低，相应效益也会更好。

而且另一方面，因为需求明确，应用场景有针对性，相比打造CPU和GPU，打造AI芯片的门槛要低很多。

于是整个行业都在来到一个“iPhone时刻”——软件重新定义硬件，场景需求重新定义芯片。

然后过程中最好还能与应用的业务场景结合，不断验证、反馈，迭代，最后在达到目标效果后流片、完成物理实现。

所以当今之势，不仅AI造芯初创公司形成小高潮，而且互联网巨头也纷纷跨界变硬，启动自主AI芯片打造。

但想不想造、有没有能力造，最后造的结果如何……完全是好几个层次，完全是综合实力的比拼。

这也就是为什么，阿里的业务场景优势，会给平头哥首款AI芯片带来加速，也是阿里手握新时代芯片竞争“天命”的原因。

何以一年造出AI芯？

实际上，虽然速度快、成果惊人，但阿里AI芯片并非完全“从0开始”。

平头哥创立一年，不过达摩院和阿里各大业务，已在AI算法和软件方面积累很长时间。

含光800团队透露，基于阿里达摩院的算法以及阿里巴巴集团硬件基础设施多年技术沉淀，是含光800重构芯片软硬件技术栈的秘诀所在。

由于AI芯片的差异化设计主要体现在硬件架构和软件算法上，二者需要高度适配才能发挥芯片的最大价值。

算法方面，阿里巴巴达摩院机器智能实验室过去两年构建了完整的算法体系，涵盖语音智能、语言技术、机器视觉、决策智能等方向，并且取得多个世界领先水平的成果。

硬件方面，阿里巴巴此前已在服务器、FPGA以及存储等领域拥有多年经验，平头哥团队也在体系结构、编译技术等领域拥有深厚的技术储备。

基于这些能力，平头哥完成了算法和硬件之间鸿沟的快速突破。在算法能力之上，自研芯片架构，并且设计了完整软件栈。

而且如此设计理念，效果也立竿见影。例如功耗是AI芯片行业通病，但平头哥自研架构可大幅减少对内存的访问，在保证极致性能的情况下，能把芯片功耗降到最低水平。

另外，新入局也有新入局的优势。

带队打造含光800的骄旸感慨，半导体巨头搞AI芯片，会有既有开发者生态的包袱，但阿里平头哥团队目标专一，就是要实现最强算力，把硬件能力完全释放，以构建更大的生态。

过程中也无时不刻展现着阿里业务场景优势、以及组织凝聚力。

而平头哥在架构设计之初，业务场景同事就从需求和经验层面给出了全面反馈，直接帮助厘清了需求。

然后算法加持和验证迭代阶段，达摩院和业务场景也不厌其烦帮助测试、反馈，提交迭代，共同完成了流片前的最后保障。

所以虽然阿里造芯，专门成立了平头哥半导体，但“含光800”从无到有，不光是一个人、一支团队在战斗。

如果你问阿里AI造芯的优势究竟有哪些？

除了有“生死看淡不服就干”的决心，真金白银的投入，业内全球资深人才的招揽……

平头哥首席科学家、阿里巴巴高级研究员元尊，会将具体优势归结为“ABCDE”。

A：Algorithm，算法，阿里本身的技术储备和AI实力，在算法方面有世界领先的积累。
B：Big Data，大数据，庞大的生态场景和覆盖方方面面的业务，在数据质和量方面都有优势。
C：Computing，安全稳定的计算力，阿里云的市场龙头和领先地位，就已能说明一切。
D：Domain knowledge，专业领域知识，阿里本身并非只是一家一业的公司，而是几十家公司的集合体、经济体，有各种各样的全面应用场景，对于各项最新技术和产品，有最天然的应用基础。
E：Ecosystem，生态。比起传统芯片半导体公司，阿里生态涵盖之广泛、能力之多元和应用前景，都是综合实力的体现。