英特尔谈如何与Nvidia争夺AI芯片市场
由于英特尔试图与nvidia共同分享正处于快速增长的服务器ai芯片市场，英特尔渴望其产品能够涵盖几乎所有可能的类别。
nervana systems是英特尔2016年收购的ai芯片创业公司，我最近有机会拜访其位于圣地亚哥的办事处。nervana systems被收购以后，完成了大部分与ai相关的芯片和软件研发工作。在本次会面上，我见到了英特尔人工智能软件和研究副总裁arjun bansal和英特尔ai研究组高级总监casimir wierzynski。
服务器ai芯片市场的市场地位
用于处理数据中心内部深入学习工作负荷的芯片市场可分为两组：
强大的计算系统所使用的芯片，可以训练人工智能模型来做一些事情，比如理解语音命令，检测照片中的物体，或者帮助一辆汽车在城市街道上行驶。
运行经过培训的ai模型与新数据和新内容的芯片，例如移动应用程序的请求，以帮助处理语音命令或提供个性化的新闻饲料内容。这种活动被称为“推理”，其计算要求远低于培训要求，可以由服务器和最终用户硬件（如电话、个人电脑和汽车）来处理。
虽然竞争开始有所增加，很大比例的ai培训工作是由nvidia的tesla服务器gpu系列来处理。但是，在以前，这项工作通常是由英特尔的xeon服务器cpu来完成的。然而，越来越多的推理工作正在由nvidia gpu来完成，可编程芯片（fpga）则采用英特尔和xilinx的产品，定制设计的芯片（asic）则采用，如alphabet / google的tensor processing units（tpu - 它们也可用于培训）和amazon.com的新aws propferentia芯片。
英特尔的服务器ai芯片战略
鉴于nvidia的服务器ai芯片的工作完全围绕gpu进行，其特点是针对人工智能工作负载进行专门的处理（它们是众所周知的ast），英特尔计划支持一系列广泛的芯片。其当前和计划的服务器ai产品包括：
nnp-l1000和nnp-i，一对nervana asic，分别用于训练和推理。两者都承诺在今年晚些时候投入生产。facebook一直是英特尔ai asic的开发合作伙伴。
可用于推理的fpga。微软和百度使用英特尔的fpga进行人工智能工作。
服务器gpu阵容。该公司的第一台服务器gpu预计将在2020年推出。
dl boost，一组旨在提高xeon cpu推理性能的技术。英特尔最近发布的cascade lake xeon cpu 引入了dl boost的第一个版本。
当被问及nnp-l1000相对于nvidia的tesla gpu等产品的竞争优势时，bansal地指出该芯片是从头开始设计的，用于训练ai /深度学习模型，因此不需要关注与图形相关的功能。他介绍道：“我们不必在与图形相关的计算上花费任何芯片面积。”
他还指出，由于nnp-l1000独特的处理架构（它依赖于称为bfloat16的多种编码格式），该芯片可以使用16位乘法器电路来提供与gpu所需的32位乘法器相当的性能。这导致更小且功率更高的乘法器，并且（因为乘法器需要一半的数据）使芯片的有效存储器带宽加倍。
类似地，bansal认为，在推理领域，nnp-i相对于fpga“从功率性能角度来看”将具有很强的竞争力，并为机器翻译，语音识别和推荐系统等工作负载提供强大的性能。与此同时，他指出，由于能够重新配置以处理新任务，一些客户仍然会更喜欢fpga。
当被问及英特尔如何看待服务器cpu被用于推断时，因为对加速器的需求有所增长，他建议公司仍将使用空闲cpu容量进行推理工作。他指出：“人们有时会有很多休眠（服务器）容量”
软件的重要性
除了大量的芯片研发投资外，nvidia在ai培训芯片市场的主导地位与其构建的开发者生态系统有很大关系。该生态系统以公司的cuda编程模型和相关的cuda深度神经网络（cudnn）软件库为基础，该软件库支持最流行的深度学习软件框架（以及一些不太流行的软件框架）。
虽然它已经创建了针对其cpu优化的深度学习软件库，英特尔想要削减nvidia庞大的开发者意识共享的策略，并不是围绕着创建一个直接针对cuda和cuda的竞争对手，而是在推动采用一种名为ngraph的解决方案。ngraph是一个编译器 - 一个将编程语言中的代码转换为可由处理器执行的机器代码的程序 - 旨在与各种处理器类型的各种深度学习框架（xeon cpu，nervana asic和甚至是nvidia gpu），用于培训和推理工作。
英特尔认为，由于许多ai软件框架已针对特定类型的处理器（在许多情况下是nvidia的gpu）进行了优化，所以，将依赖于一种类型的处理器的ai模型移植到另一种类型的处理器上来说，这通常太困难了，而且要让一个模型在不同的框架上运行也太难了。英特尔称，ngraph消除了这些挑战。
在公司仅依赖于一种处理架构的情况下，手动优化的ai软件库可能是有效的，但当公司使用三种或四种架构时，它们有可能失效。bansal断言。“拥有三四个架构的优势肯定大于只拥有一种架构。”
当然，英特尔面临的挑战是让企业和云巨头相信，在很多企业完全依赖nvidia的gpu进行ai培训的时候，他们应该使用多个架构。如果一家公司选择仅仅依靠nvidia的gpu进行培训，它可能会坚持使用nvidia广泛支持的软件工具。另一方面，如果人工智能培训芯片市场开始崩溃，那么英特尔对ngraph的销售推动力将变得更加强大。
另外，wierzynski指出，英特尔还投资于解决人工智能隐私问题的软件解决方案，例如用于处理加密ai数据的开源解决方案。他为解决方案提供了一个用例：医院可以将加密数据发送给远程工作的放射科医师，无需共享患者信息，放射科医师可以将他或她的答案的加密版本发送回医院。
大局
nvidia不太可能很快放弃目前在ai培训处理器市场上的领先优势，特别是考虑到它也在该领域投入巨资。虽然服务器推理处理器市场竞争更加激烈，但英特尔可能会成为与nvidia和xilinx一样强大的玩家。
英特尔确实拥有独特的芯片和软件战略来增加其ai加速器的销售额，并且显然将其资金投入其中。尽管他们的确切性能和耗电量还有很多需要分享的地方，但这家公司的神经网络asic正从地面上建立起来，以处理ai的工作，这一事实可以帮助他们取得成功。
本文来自半导体行业观察微信号，本文作为转载分享。
激光雷达市场前景可期！到2024年市场价值将达到22.73亿美元
一文教你看懂无人驾驶的关键激光雷达
集成电路技术大幅提升MEMS性能
LED灯丝的内部构造剖析，单个LED失灵，开路保护器为你保驾护航！
Wision A.I.坚持临床循证医学 为医疗AI界带来很多参考
英特尔谈如何与Nvidia争夺AI芯片市场
是否可以将Shazam称为有听歌识曲功能应用的鼻祖？
英创信息技术WinCE主板新CAN驱动使用说明
COVID-19对存储器行业的影响
基于触摸屏和RS-232串口实现捷联惯导显控系统的设计
寒武纪芯片超越苹果A11处理器,中科曙光携手AMD致力国产CPU
封装新技术导入加速，LED背光市场格局或重构
nodemcu和esp8266是什么关系？
!租售/回收/维修HP6030A直流电源HP6030A 小兵
中兴通讯陈志萍：推动工业场景数智升级，促进“数实”深度融合
电池中的水和液是这样吗
如何构建STM32单片机keil的开发环境
光纤激光水听器的基本原理,国内外光纤激光水听器的研究进展以及发展趋势
弹片微针模组在手机锂电池性能测试中的作用
打造稳定快速的家庭网络,选购高性能4G路由器
nervana systems是英特尔2016年收购的ai芯片创业公司，我最近有机会拜访其位于圣地亚哥的办事处。nervana systems被收购以后，完成了大部分与ai相关的芯片和软件研发工作。在本次会面上，我见到了英特尔人工智能软件和研究副总裁arjun bansal和英特尔ai研究组高级总监casimir wierzynski。
服务器ai芯片市场的市场地位
用于处理数据中心内部深入学习工作负荷的芯片市场可分为两组：
强大的计算系统所使用的芯片，可以训练人工智能模型来做一些事情，比如理解语音命令，检测照片中的物体，或者帮助一辆汽车在城市街道上行驶。
运行经过培训的ai模型与新数据和新内容的芯片，例如移动应用程序的请求，以帮助处理语音命令或提供个性化的新闻饲料内容。这种活动被称为“推理”，其计算要求远低于培训要求，可以由服务器和最终用户硬件（如电话、个人电脑和汽车）来处理。
虽然竞争开始有所增加，很大比例的ai培训工作是由nvidia的tesla服务器gpu系列来处理。但是，在以前，这项工作通常是由英特尔的xeon服务器cpu来完成的。然而，越来越多的推理工作正在由nvidia gpu来完成，可编程芯片（fpga）则采用英特尔和xilinx的产品，定制设计的芯片（asic）则采用，如alphabet / google的tensor processing units（tpu - 它们也可用于培训）和amazon.com的新aws propferentia芯片。
英特尔的服务器ai芯片战略
鉴于nvidia的服务器ai芯片的工作完全围绕gpu进行，其特点是针对人工智能工作负载进行专门的处理（它们是众所周知的ast），英特尔计划支持一系列广泛的芯片。其当前和计划的服务器ai产品包括：
nnp-l1000和nnp-i，一对nervana asic，分别用于训练和推理。两者都承诺在今年晚些时候投入生产。facebook一直是英特尔ai asic的开发合作伙伴。
可用于推理的fpga。微软和百度使用英特尔的fpga进行人工智能工作。
服务器gpu阵容。该公司的第一台服务器gpu预计将在2020年推出。
dl boost，一组旨在提高xeon cpu推理性能的技术。英特尔最近发布的cascade lake xeon cpu 引入了dl boost的第一个版本。
当被问及nnp-l1000相对于nvidia的tesla gpu等产品的竞争优势时，bansal地指出该芯片是从头开始设计的，用于训练ai /深度学习模型，因此不需要关注与图形相关的功能。他介绍道：“我们不必在与图形相关的计算上花费任何芯片面积。”
他还指出，由于nnp-l1000独特的处理架构（它依赖于称为bfloat16的多种编码格式），该芯片可以使用16位乘法器电路来提供与gpu所需的32位乘法器相当的性能。这导致更小且功率更高的乘法器，并且（因为乘法器需要一半的数据）使芯片的有效存储器带宽加倍。
类似地，bansal认为，在推理领域，nnp-i相对于fpga“从功率性能角度来看”将具有很强的竞争力，并为机器翻译，语音识别和推荐系统等工作负载提供强大的性能。与此同时，他指出，由于能够重新配置以处理新任务，一些客户仍然会更喜欢fpga。
当被问及英特尔如何看待服务器cpu被用于推断时，因为对加速器的需求有所增长，他建议公司仍将使用空闲cpu容量进行推理工作。他指出：“人们有时会有很多休眠（服务器）容量”
软件的重要性
除了大量的芯片研发投资外，nvidia在ai培训芯片市场的主导地位与其构建的开发者生态系统有很大关系。该生态系统以公司的cuda编程模型和相关的cuda深度神经网络（cudnn）软件库为基础，该软件库支持最流行的深度学习软件框架（以及一些不太流行的软件框架）。
虽然它已经创建了针对其cpu优化的深度学习软件库，英特尔想要削减nvidia庞大的开发者意识共享的策略，并不是围绕着创建一个直接针对cuda和cuda的竞争对手，而是在推动采用一种名为ngraph的解决方案。ngraph是一个编译器 - 一个将编程语言中的代码转换为可由处理器执行的机器代码的程序 - 旨在与各种处理器类型的各种深度学习框架（xeon cpu，nervana asic和甚至是nvidia gpu），用于培训和推理工作。
英特尔认为，由于许多ai软件框架已针对特定类型的处理器（在许多情况下是nvidia的gpu）进行了优化，所以，将依赖于一种类型的处理器的ai模型移植到另一种类型的处理器上来说，这通常太困难了，而且要让一个模型在不同的框架上运行也太难了。英特尔称，ngraph消除了这些挑战。
在公司仅依赖于一种处理架构的情况下，手动优化的ai软件库可能是有效的，但当公司使用三种或四种架构时，它们有可能失效。bansal断言。“拥有三四个架构的优势肯定大于只拥有一种架构。”
当然，英特尔面临的挑战是让企业和云巨头相信，在很多企业完全依赖nvidia的gpu进行ai培训的时候，他们应该使用多个架构。如果一家公司选择仅仅依靠nvidia的gpu进行培训，它可能会坚持使用nvidia广泛支持的软件工具。另一方面，如果人工智能培训芯片市场开始崩溃，那么英特尔对ngraph的销售推动力将变得更加强大。
另外，wierzynski指出，英特尔还投资于解决人工智能隐私问题的软件解决方案，例如用于处理加密ai数据的开源解决方案。他为解决方案提供了一个用例：医院可以将加密数据发送给远程工作的放射科医师，无需共享患者信息，放射科医师可以将他或她的答案的加密版本发送回医院。
大局
nvidia不太可能很快放弃目前在ai培训处理器市场上的领先优势，特别是考虑到它也在该领域投入巨资。虽然服务器推理处理器市场竞争更加激烈，但英特尔可能会成为与nvidia和xilinx一样强大的玩家。
英特尔确实拥有独特的芯片和软件战略来增加其ai加速器的销售额，并且显然将其资金投入其中。尽管他们的确切性能和耗电量还有很多需要分享的地方，但这家公司的神经网络asic正从地面上建立起来，以处理ai的工作，这一事实可以帮助他们取得成功。
本文来自半导体行业观察微信号，本文作为转载分享。
激光雷达市场前景可期！到2024年市场价值将达到22.73亿美元
一文教你看懂无人驾驶的关键激光雷达
集成电路技术大幅提升MEMS性能
LED灯丝的内部构造剖析，单个LED失灵，开路保护器为你保驾护航！
Wision A.I.坚持临床循证医学 为医疗AI界带来很多参考
英特尔谈如何与Nvidia争夺AI芯片市场
是否可以将Shazam称为有听歌识曲功能应用的鼻祖？
英创信息技术WinCE主板新CAN驱动使用说明
COVID-19对存储器行业的影响
基于触摸屏和RS-232串口实现捷联惯导显控系统的设计
寒武纪芯片超越苹果A11处理器,中科曙光携手AMD致力国产CPU
封装新技术导入加速，LED背光市场格局或重构
nodemcu和esp8266是什么关系？
!租售/回收/维修HP6030A直流电源HP6030A 小兵
中兴通讯陈志萍：推动工业场景数智升级，促进“数实”深度融合
电池中的水和液是这样吗
如何构建STM32单片机keil的开发环境
光纤激光水听器的基本原理,国内外光纤激光水听器的研究进展以及发展趋势
弹片微针模组在手机锂电池性能测试中的作用
打造稳定快速的家庭网络,选购高性能4G路由器