当前的AI芯片现状分析
过去两年，随着ai的兴起，还有有志于做人工智能芯片的企业开始在自有的cpu中嵌入类似寒武纪等品牌的npu，或者如华为这样自研npu。蜂拥而起的ai造芯潮使得很多人认为在这个新兴的ai市场，arm已经丧失了先机，甚至有激进者认为arm在这个即将爆发的人工智能市场将毫无建树。
但在2018年二月公布代号为project trillium的机器学习计划，2019年10月发布包括ethos n77/n57/n37，并于日前发布全新的ethos u55 npu之后，这家ip巨头的ai布局开始逐渐浮出水面。
在谈arm的ai芯片布局之前，我们先来了解一下arm以及当前的ai芯片现状。
ai时代错失先机
这家在英国成立，最终被软银巨额收购的芯片公司是ip领域的绝对龙头。
如果统计处理器市场，特别是嵌入式处理器，arm的ip是当中毫无疑问的大赢家。以大家熟悉的智能手机市场为例，无论是国际知名的苹果和三星，还是国内的华为、小米，他们使用的处理器无一例外都是基于arm-cortex-a系列ip设计。
再看嵌入式mcu，因为st、nxp和瑞萨的力拱，以及一众本土厂商的加入，arm mcu的市场在过去多年里也节节攀升。关于arm mcu的份额，并不能找到相关数据，但从arm公司2017年的一份ppt中我们可以看到，物联网设备中，有90%的控制器都是基于arm产品设计的，微控制器市场，arm的份额也高达20%。如果统计整个带有处理器的芯片，则使用arm相关ip的产品占比达到39%。
arm在不同市场的份额和机会（source：arm）此外，arm还有gpu和dpu等一系列ip在市场上表现不错，这也帮助arm获得了不错的市场份额。
据ip nest的统计数据显示，整个ip市场2018年的总值为36.02亿美元，当中虽然arm的份额连续第三年下滑，但是他们的占有率还是高达44.7%，遥遥领先于第二位。ip nest在报告中还谈到，高端产品的授权转向了架构授权，而最低端的处理器则开始拥抱risc-v。在2018年的ip市场里，还有一个值得关注的点，那就是机器学习和其他专用架构产品的兴起。
但在ai发展的前几年，arm在这方面是缺失的。
2018年的ip供应商排名回看过去几年的ai芯片发展，云端市场是gpu、asic和fpga这些大规模芯片的自留地，这是大部分的芯片厂商所无法设计的，但在终端的推理市场，则百花盛开，百家争鸣。有厂商一开始就通过自研去步入这个领域（如苹果），在mcu市场，st也推出了代号为orlando project的专用卷积神经网络加速器；有厂商则依靠第三方ip去进攻这个市场。这就催生了寒武纪和耐能一些新兴的npu ip供应商，也让一些老牌厂商的产品在ai加速器这个市场寻找了新的机遇，如ceva、cadence（tensilica）和verisilicon就是当中的代表。
根据abire-search预测，2024年，终端ai芯片市场规模将增长至710亿美元，2019年至2024年间的年复合增长率将达31%。考虑到aiot市场的潜力，当中必然有相当大一部分营收来自于arm mcu供应商。那就意味着如果arm握不住这个市场，他们将会错失一大块蛋糕。甚至有可能在一些集成了risc-v 与加速器的mcu的倒逼下，连本身领先的cortex-m mcu城池也失守。
为此，arm加速ai部署刻不容缓，这就促使arm在昨日放了个大招。
投下npu重磅炸弹
其实arm npu并不是什么新鲜事物。在文章开头我们已经说到，arm在去年就推出了其ethos n77/n57/n37系列npu。arm的这个家族的npu是瞄准手机、ar/vr和智能监控等市场。
但很显然，arm的npu在这些市场几无胜算。
arm ethos n77/n57/n37家族首先看手机市场，盘点现在的手机处理器厂商华为、高通、苹果、三星、mtk和展锐，除了展锐授权了imagination的ai加速器之外之外，其他所有的厂商都是使用的自研npu或者使用异构的硬件来做ai加速，当中的华为和mtk等npu忠实玩家甚至都已经将其ai加速器推进到第三代。在这个发展过程中，他们也同步发展了其ai软件和生态，这就让他们没有任何理由转向arm的加速器。上图的其他市场大多也有这种境况。
但在未来巨大的市场当中，还有一个目前还没有被大幅挖掘的金矿，那就是低功耗的终端应用。这也是arm ethos u55所瞄准的目标。而据行业的专家告诉半导体行业观察记者，ai加速器能否应用到超低功耗的物联网市场，首先要关注的一点就是它的功耗表现，这也是arm在致力于解决的。
日前发布的ethos u55 和与之搭配的cortex-m55则是arm在这个市场的小试牛刀。
arm为终端ai带来的全新方案arm的官方表示，新增的cortex-m55是arm历来ai能力最为强大的cortex-m处理器，也是首款基于armv8.1-m架构、内建arm helium向量处理技术的处理器，它可以大幅提升dsp与ml的性能，同时更省电。arm同时指出，在这个新的处理器上，客户可以使用arm custom instructions （arm自定义指令集）延伸处理器的能力，对特定工作负载进行优化。来到ethos-u55，这是一个可从32个mac扩展到256个mac的micro npu，在与cortex-m55耦合之后，能够为微控制器带来480倍的机器学习性能飞跃。
arm方面还强调，这个全新搭配还得到了cortex-m软件开发工具链的支持，这就使得其针对传统dsp与ml等工作负载，有了一致的开发流程；同时从tensorflow lite micro开始，能针对先进机器学习框架进行特定的整合与优化，确保开发人员拥有无缝的开发体验，并能够在任何一种cortex-m与ethos-u55的配置上，获取最佳性能。
arm首款micronpu业内专家也告诉半导体行业观察记者，考虑到arm当前的地位和名声，这套方案带给市场的影响是显而易见的。cortex-m方面自不用多说，这是他们在嵌入式市场安身立命的重要武器。而来到npu方面，也同样亮点不少。一方面，这是一个带两级sram，l2 sram可扩展到数mb的产品；另一方面，ethos-u55自带dma+control unit， 可完成异步数据流管理；第三，ethos-u55的weight decoder可将神经网络中的weights进行压缩，提高带宽；第四，这个npu还有针对element wise运算的特殊加速单元，能帮助矩阵运算。
“还有一点，arm cmsis-nn所积聚的生态，也会是一个重要的x因素”，业内专家强调。
据介绍，所谓cmsis的全称是cortex microcontroller software interface standard （cortex微处理器软件接口标准），这是arm为了解决微处理器生态中软件无法兼容的问题而推出的。而cmsis-nn则是arm为了缓解微处理器神经网络相关软件优化压力而推出的cmsis新成员。
cmsis-nn的框架图行业专家表示，在arm刚推出这个库的时候，彼时的arm cortex-m还不能跑出让人眼前一亮的结果。但因为arm强大的号召力，即使很多厂商并不知道它的真正用途，但都纷纷将其融入了其os和生态里。
而在上述的m55和u55出来以后，arm的计划似乎也明朗了起来。
胜负未知
也许arm的想法是这样的——我们有足够多的mcu客户，有足够多终端用户，过去的十几年里，我们也构建了无可比拟的生态，只要我们把这套工具磨利，就能让大家投奔我门下，让arm在嵌入式ai领域重现cortex-a和cortex-m时代的辉煌。
但市场已经不再是以前的市场。
我们可以看到，无论是cortex-a所支持的ap或者是cortex-m所驱动的mcu生态，他们所面对的都是相对单一的需求。换而言之打造一些通用化的方案就能通吃市场。但进入了当前的aiot市场，市场需求千差万别，定制化或者会更为一股重要的趋势，这也是arm custom instructions面世的原因之一。
更重要的是，arm不但迎来了新的技术，还迎来了更强悍的竞争对手。
首先，以大家过去一两年常谈的risc-v为例，因为其独特的开源特性和成本优势，很多分析人士都认为其可以在aiot时代大展拳脚。而在最近，risc-v的领先厂商sifive也宣布，将携手ip厂商ceva，在cpu、dsp、ai处理器和软件方面进行合作，帮助芯片企业开发出大批量面向智能家居、汽车、机器人、安保、增强现实、工业和物联等一系列边缘智能soc。在官方新闻稿里，他们也强调了面向特定领域的超低功耗edge ai处理器，这正是arm新产品所聚焦的。
其次，lattice这些小容量fpga供应商，也无限看好这个市场。lattice方面表示，基于他们的lattice sensai可以帮助oem厂商为下一代毫瓦级智能设备赋予ai和ml功能。对于arm阵型来说，这也是一个潜在的挑战者。
第三，类似greenwaves这些初创企业，也成为嵌入式ai市场的一个不确定因素。资料显示，他们最新推出的gap 9可提供41.6 gb /秒的峰值群集内存带宽和高达50 gops的组合计算能力，而总功耗仅仅为50mw，再搭配其完整的工具，这也成为了嵌入式ai市场一股不可忽视的势力。
第四，在arm芯片阵型里，有一些大客户在研发自己的加速器方案，如瑞萨的动态可配置处理器 （drp） 技术就是当中一个代表。再搭配其sotb制程来降低功耗，这就让日本巨头的嵌入式ai方案变得非常有竞争力。
最后，arm的嵌入式ai方案是否真的能如他们所说，减轻了很多客户的开发工作？这是一个值得推敲的问题。行业专家表示，在嵌入式ai这个领域，其实大家在软件开发上面的难度差不多，迄今为止也没有人能建立其一个很强大的生态。
而对于那些购买了arm npu ip的人，他们除了需要面对数据搬运的挑战外，还要直面是否有完整的工具，能很好帮助他们完成模型训练到片上移植的过程。最重要的一点，arm的这些新ip授权费用怎么收？这也是一个重要考量点。但即使如此，arm也迈开了嵌入式ai市场的一大步。
从分析师预测看来，aiot是发展的必然趋势，这也是一个多个阵营虎视眈眈，但谁都没有把握稳赢的市场。作为一个拥用强大的生态合作伙伴的arm，能否凭借新产品成为这个赛道的领跑者，尚待观察。但对他们来说，这关键一战的冲锋号已经吹响。
百度大脑3.0：AI技术正常演进 新增云端全功能AI芯片
双网融合，新能源车助推无线充电发展
RFID技术成为无人超市背后的功臣
学习使用FFmpeg进行HLS打包
汤森路透与AI公司展开内容授权谈判
当前的AI芯片现状分析
激光器的主要特点
小米罕见发声：余承东发布不实言论 请勿再抹黑同行误导公众
多用途试guan搅拌器的产品特点介绍
汽车IC市场在未来的发展趋势如何？
新一代信息基础设施建设大火，它的具体含义是什么
欧姆表的原理_欧姆表的使用方法及注意事项
2023数字科技生态展 | 世炬网络助力中国电信焕新启航
端子的选取原则
微雪电子蓝牙5.0 蓝牙Mesh NRF52840简介
一款用顶级功率型运放制作的耳放
iNEMI电路板质量问题解决方案
如能帮助入门级新手理解PID
开关电源技术十大关注焦点
第五届互联网大会召开在即 乌镇又是一出好戏
但在2018年二月公布代号为project trillium的机器学习计划，2019年10月发布包括ethos n77/n57/n37，并于日前发布全新的ethos u55 npu之后，这家ip巨头的ai布局开始逐渐浮出水面。
在谈arm的ai芯片布局之前，我们先来了解一下arm以及当前的ai芯片现状。
ai时代错失先机
这家在英国成立，最终被软银巨额收购的芯片公司是ip领域的绝对龙头。
如果统计处理器市场，特别是嵌入式处理器，arm的ip是当中毫无疑问的大赢家。以大家熟悉的智能手机市场为例，无论是国际知名的苹果和三星，还是国内的华为、小米，他们使用的处理器无一例外都是基于arm-cortex-a系列ip设计。
再看嵌入式mcu，因为st、nxp和瑞萨的力拱，以及一众本土厂商的加入，arm mcu的市场在过去多年里也节节攀升。关于arm mcu的份额，并不能找到相关数据，但从arm公司2017年的一份ppt中我们可以看到，物联网设备中，有90%的控制器都是基于arm产品设计的，微控制器市场，arm的份额也高达20%。如果统计整个带有处理器的芯片，则使用arm相关ip的产品占比达到39%。
arm在不同市场的份额和机会（source：arm）此外，arm还有gpu和dpu等一系列ip在市场上表现不错，这也帮助arm获得了不错的市场份额。
据ip nest的统计数据显示，整个ip市场2018年的总值为36.02亿美元，当中虽然arm的份额连续第三年下滑，但是他们的占有率还是高达44.7%，遥遥领先于第二位。ip nest在报告中还谈到，高端产品的授权转向了架构授权，而最低端的处理器则开始拥抱risc-v。在2018年的ip市场里，还有一个值得关注的点，那就是机器学习和其他专用架构产品的兴起。
但在ai发展的前几年，arm在这方面是缺失的。
2018年的ip供应商排名回看过去几年的ai芯片发展，云端市场是gpu、asic和fpga这些大规模芯片的自留地，这是大部分的芯片厂商所无法设计的，但在终端的推理市场，则百花盛开，百家争鸣。有厂商一开始就通过自研去步入这个领域（如苹果），在mcu市场，st也推出了代号为orlando project的专用卷积神经网络加速器；有厂商则依靠第三方ip去进攻这个市场。这就催生了寒武纪和耐能一些新兴的npu ip供应商，也让一些老牌厂商的产品在ai加速器这个市场寻找了新的机遇，如ceva、cadence（tensilica）和verisilicon就是当中的代表。
根据abire-search预测，2024年，终端ai芯片市场规模将增长至710亿美元，2019年至2024年间的年复合增长率将达31%。考虑到aiot市场的潜力，当中必然有相当大一部分营收来自于arm mcu供应商。那就意味着如果arm握不住这个市场，他们将会错失一大块蛋糕。甚至有可能在一些集成了risc-v 与加速器的mcu的倒逼下，连本身领先的cortex-m mcu城池也失守。
为此，arm加速ai部署刻不容缓，这就促使arm在昨日放了个大招。
投下npu重磅炸弹
其实arm npu并不是什么新鲜事物。在文章开头我们已经说到，arm在去年就推出了其ethos n77/n57/n37系列npu。arm的这个家族的npu是瞄准手机、ar/vr和智能监控等市场。
但很显然，arm的npu在这些市场几无胜算。
arm ethos n77/n57/n37家族首先看手机市场，盘点现在的手机处理器厂商华为、高通、苹果、三星、mtk和展锐，除了展锐授权了imagination的ai加速器之外之外，其他所有的厂商都是使用的自研npu或者使用异构的硬件来做ai加速，当中的华为和mtk等npu忠实玩家甚至都已经将其ai加速器推进到第三代。在这个发展过程中，他们也同步发展了其ai软件和生态，这就让他们没有任何理由转向arm的加速器。上图的其他市场大多也有这种境况。
但在未来巨大的市场当中，还有一个目前还没有被大幅挖掘的金矿，那就是低功耗的终端应用。这也是arm ethos u55所瞄准的目标。而据行业的专家告诉半导体行业观察记者，ai加速器能否应用到超低功耗的物联网市场，首先要关注的一点就是它的功耗表现，这也是arm在致力于解决的。
日前发布的ethos u55 和与之搭配的cortex-m55则是arm在这个市场的小试牛刀。
arm为终端ai带来的全新方案arm的官方表示，新增的cortex-m55是arm历来ai能力最为强大的cortex-m处理器，也是首款基于armv8.1-m架构、内建arm helium向量处理技术的处理器，它可以大幅提升dsp与ml的性能，同时更省电。arm同时指出，在这个新的处理器上，客户可以使用arm custom instructions （arm自定义指令集）延伸处理器的能力，对特定工作负载进行优化。来到ethos-u55，这是一个可从32个mac扩展到256个mac的micro npu，在与cortex-m55耦合之后，能够为微控制器带来480倍的机器学习性能飞跃。
arm方面还强调，这个全新搭配还得到了cortex-m软件开发工具链的支持，这就使得其针对传统dsp与ml等工作负载，有了一致的开发流程；同时从tensorflow lite micro开始，能针对先进机器学习框架进行特定的整合与优化，确保开发人员拥有无缝的开发体验，并能够在任何一种cortex-m与ethos-u55的配置上，获取最佳性能。
arm首款micronpu业内专家也告诉半导体行业观察记者，考虑到arm当前的地位和名声，这套方案带给市场的影响是显而易见的。cortex-m方面自不用多说，这是他们在嵌入式市场安身立命的重要武器。而来到npu方面，也同样亮点不少。一方面，这是一个带两级sram，l2 sram可扩展到数mb的产品；另一方面，ethos-u55自带dma+control unit， 可完成异步数据流管理；第三，ethos-u55的weight decoder可将神经网络中的weights进行压缩，提高带宽；第四，这个npu还有针对element wise运算的特殊加速单元，能帮助矩阵运算。
“还有一点，arm cmsis-nn所积聚的生态，也会是一个重要的x因素”，业内专家强调。
据介绍，所谓cmsis的全称是cortex microcontroller software interface standard （cortex微处理器软件接口标准），这是arm为了解决微处理器生态中软件无法兼容的问题而推出的。而cmsis-nn则是arm为了缓解微处理器神经网络相关软件优化压力而推出的cmsis新成员。
cmsis-nn的框架图行业专家表示，在arm刚推出这个库的时候，彼时的arm cortex-m还不能跑出让人眼前一亮的结果。但因为arm强大的号召力，即使很多厂商并不知道它的真正用途，但都纷纷将其融入了其os和生态里。
而在上述的m55和u55出来以后，arm的计划似乎也明朗了起来。
胜负未知
也许arm的想法是这样的——我们有足够多的mcu客户，有足够多终端用户，过去的十几年里，我们也构建了无可比拟的生态，只要我们把这套工具磨利，就能让大家投奔我门下，让arm在嵌入式ai领域重现cortex-a和cortex-m时代的辉煌。
但市场已经不再是以前的市场。
我们可以看到，无论是cortex-a所支持的ap或者是cortex-m所驱动的mcu生态，他们所面对的都是相对单一的需求。换而言之打造一些通用化的方案就能通吃市场。但进入了当前的aiot市场，市场需求千差万别，定制化或者会更为一股重要的趋势，这也是arm custom instructions面世的原因之一。
更重要的是，arm不但迎来了新的技术，还迎来了更强悍的竞争对手。
首先，以大家过去一两年常谈的risc-v为例，因为其独特的开源特性和成本优势，很多分析人士都认为其可以在aiot时代大展拳脚。而在最近，risc-v的领先厂商sifive也宣布，将携手ip厂商ceva，在cpu、dsp、ai处理器和软件方面进行合作，帮助芯片企业开发出大批量面向智能家居、汽车、机器人、安保、增强现实、工业和物联等一系列边缘智能soc。在官方新闻稿里，他们也强调了面向特定领域的超低功耗edge ai处理器，这正是arm新产品所聚焦的。
其次，lattice这些小容量fpga供应商，也无限看好这个市场。lattice方面表示，基于他们的lattice sensai可以帮助oem厂商为下一代毫瓦级智能设备赋予ai和ml功能。对于arm阵型来说，这也是一个潜在的挑战者。
第三，类似greenwaves这些初创企业，也成为嵌入式ai市场的一个不确定因素。资料显示，他们最新推出的gap 9可提供41.6 gb /秒的峰值群集内存带宽和高达50 gops的组合计算能力，而总功耗仅仅为50mw，再搭配其完整的工具，这也成为了嵌入式ai市场一股不可忽视的势力。
第四，在arm芯片阵型里，有一些大客户在研发自己的加速器方案，如瑞萨的动态可配置处理器 （drp） 技术就是当中一个代表。再搭配其sotb制程来降低功耗，这就让日本巨头的嵌入式ai方案变得非常有竞争力。
最后，arm的嵌入式ai方案是否真的能如他们所说，减轻了很多客户的开发工作？这是一个值得推敲的问题。行业专家表示，在嵌入式ai这个领域，其实大家在软件开发上面的难度差不多，迄今为止也没有人能建立其一个很强大的生态。
而对于那些购买了arm npu ip的人，他们除了需要面对数据搬运的挑战外，还要直面是否有完整的工具，能很好帮助他们完成模型训练到片上移植的过程。最重要的一点，arm的这些新ip授权费用怎么收？这也是一个重要考量点。但即使如此，arm也迈开了嵌入式ai市场的一大步。
从分析师预测看来，aiot是发展的必然趋势，这也是一个多个阵营虎视眈眈，但谁都没有把握稳赢的市场。作为一个拥用强大的生态合作伙伴的arm，能否凭借新产品成为这个赛道的领跑者，尚待观察。但对他们来说，这关键一战的冲锋号已经吹响。
百度大脑3.0：AI技术正常演进 新增云端全功能AI芯片
双网融合，新能源车助推无线充电发展
RFID技术成为无人超市背后的功臣
学习使用FFmpeg进行HLS打包
汤森路透与AI公司展开内容授权谈判
当前的AI芯片现状分析
激光器的主要特点
小米罕见发声：余承东发布不实言论 请勿再抹黑同行误导公众
多用途试guan搅拌器的产品特点介绍
汽车IC市场在未来的发展趋势如何？
新一代信息基础设施建设大火，它的具体含义是什么
欧姆表的原理_欧姆表的使用方法及注意事项
2023数字科技生态展 | 世炬网络助力中国电信焕新启航
端子的选取原则
微雪电子蓝牙5.0 蓝牙Mesh NRF52840简介
一款用顶级功率型运放制作的耳放
iNEMI电路板质量问题解决方案
如能帮助入门级新手理解PID
开关电源技术十大关注焦点
第五届互联网大会召开在即 乌镇又是一出好戏