IBM 新款高能效 AI 芯片：能效比高过 NVIDIA A100
2 月 18 日报道，本届集成电路设计领域顶会 “国际固态电路会议（isscc 2021）”正在进行中（2021 年 2 月 13 日到 22 日）。作为已有近 70 年历史的集成电路产学届盛会，isscc 2021 亦被许多厂商视为发布其领先芯片技术的权威舞台。
本届会议上，ibm 发表了据称是 “全球首款”的高能效 ai 芯片，该芯片采用 7nm 制程工艺，可达到 80% 以上的训练利用率和 60% 以上的推理利用率，而通常情况下，gpu 的利用率在 30% 以下。
性能参数方面，ibm 新品的运算密度高于同样采用 7nm 工艺的 nvidia a100 gpu；其在多种精度下的整数运算性能，还优于联发科 7nm 专用 ai 芯片等产品。
据 ibm 官网分享，其新款 7nm 高能效 ai 芯片该款芯片在多种场景中均有较好的应用前景，比如，可用于混合云环境中的低能耗 ai 训练、或用于实现更接近边缘的云端训练等。
一、ibm 新款高能效 ai 芯片：能效比高过 nvidia a100
对比结果显示，ibm 新款 7nm 高能效 ai 芯片的性能和能效，不同程度地超越了 ibm 此前推出的 14nm 芯片、韩国科学院（kaist）推出的 65nm 芯片、阿里巴巴旗下芯片公司平头哥推出的 12nm 芯片含光 800、nvidia 推出的 7nm 芯片 a100、联发科推出的 7nm 芯片。
ibm 新款 7nm 高能效 ai 芯片支持 fp8、fp16、fp32、int4、int2 混合精度。
在 fp32 和 fp8 精度下，ibm 新款高能效 ai 芯片的每秒浮点运算次数，分别达到 16tflops 和 25.6tflops；运算密度分别为 0.82tflops/mm^2 和 1.31tflops/mm^2；能效比分别为 3.5tflops/w 和 1.9tflops。
在 int2 和 int4 精度下，ibm 新款高能效 ai 芯片的运算密度分别为 3.27tops/mm^2 和 5.22tops/mm^2；能效比分别为 16.5tops/w 和 8.9tops/w。
对比之下，ibm 此前推出的 14nm 芯片在 fp32 和 fp8 精度下的每秒浮点运算次数，分别为 2tflops 和 3tflops；在在 fp32 精度下的能效比为 1.4tflops/w。
另外，在 7nm 芯片阵营中，nvidia a100 gpu 在 fp16 精度下的能效比为 0.78tflops/w，在 int4 精度下的能效比为 3.12tops/w，均低于 ibm 新款高能效 ai 芯片。
▲ ibm 新款高能效 ai 芯片与同类产品的性能参数对比
二、采用 ibm 自研超低精度训练 / 推理设计
ibm 官网文章写道，其新款 ai 芯片之所以能够兼顾能效和性能，是因为该芯片支持超低精度混合 8 位浮点格式（（hfp8，hybrid fp8）。这是 ibm 于 2019 年发布的一种高度优化设计，允许 ai 芯片在低精度下完成训练任务和不同 ai 模型的推理任务，同时避免任何质量损失。
据悉，目前 ibm 将超低精度混合 8 位浮点格式用于训练、超低精度混合 4 位浮点格式用于推理，并开发了数据通信协议，以提升多核心 ai 芯片上不同核心间的数据交换效率。
据 ibm 官网文章，自 2015 年起，该公司每年将芯片的功耗性能提升 2.5 倍。这背后，ibm 致力于实现算法、架构、软件堆栈等各方面的创新。
▲ ibm 在低精度 ai 训练、推理方面的研究历程
除了采用超低精度混合 8 位浮点格式外，ibm 新款高能效 ai 芯片添加了电源管理功能。ibm 研究显示，在同等功率的情况下，通过减缓计算阶段的功率消耗，可以最大限度地提升芯片性能。
结语：ai 发展对芯片能耗提出更高要求
随着智能化浪潮席卷各个领域，ai 模型的复杂性日趋提高。相应地，ai 应用的能源消耗水平亦水涨船高。这一背景下，如何最大限度提升能效，成为 ai 芯片设计玩家们面临的重要命题。
ibm 通过采用超低精度混合 8 位浮点格式和内置电源管理功能，为其新款 ai 芯片实现了业界领先的高能效。但是，这一芯片尚未实现规模化量产，仍有待市场检验。
第一届深圳音频嘉年华6月3日在深圳湾体育中心盛大开幕
基于AD7705与51单片机的数字电压表
晶柱切片後處理
总投资50亿元，和熠AMOLED高端显示模组项目开工
惠普战99商务本评测 一款颜值和性能兼备的高端商务笔记本
IBM 新款高能效 AI 芯片：能效比高过 NVIDIA A100
加速推进3D打印技术的未来
2月性价比之争：红米Note4X、360N5、魅蓝5S、华为荣耀V9，绝不忽悠值得选购！
高分工作！Uni3D：3D基础大模型，刷新多个SOTA！
国内首款具有完全知识产权的车规级AI智能驾驶芯片发布
基于C51单片机的通信测试仪器控制设计
微软Surface Book的铰链机制有望得到改善
MIUI 10全新设计语言带来软硬一体的全面屏体验
Intel将发布全新的Agilex FPGA芯片
华米科技 Amazfit GTS 2 颜值最高的智能手表
路由器设置大揭秘
MAX5949A/MAX5949B热插拔控制器
不同操作系统间QoR性能存在差异
如何用OpenCL实现FPGA上的大型卷积网络加速？
毫米波雷达用于监测生命体征信号的技术解析
本届会议上，ibm 发表了据称是 “全球首款”的高能效 ai 芯片，该芯片采用 7nm 制程工艺，可达到 80% 以上的训练利用率和 60% 以上的推理利用率，而通常情况下，gpu 的利用率在 30% 以下。
性能参数方面，ibm 新品的运算密度高于同样采用 7nm 工艺的 nvidia a100 gpu；其在多种精度下的整数运算性能，还优于联发科 7nm 专用 ai 芯片等产品。
据 ibm 官网分享，其新款 7nm 高能效 ai 芯片该款芯片在多种场景中均有较好的应用前景，比如，可用于混合云环境中的低能耗 ai 训练、或用于实现更接近边缘的云端训练等。
一、ibm 新款高能效 ai 芯片：能效比高过 nvidia a100
对比结果显示，ibm 新款 7nm 高能效 ai 芯片的性能和能效，不同程度地超越了 ibm 此前推出的 14nm 芯片、韩国科学院（kaist）推出的 65nm 芯片、阿里巴巴旗下芯片公司平头哥推出的 12nm 芯片含光 800、nvidia 推出的 7nm 芯片 a100、联发科推出的 7nm 芯片。
ibm 新款 7nm 高能效 ai 芯片支持 fp8、fp16、fp32、int4、int2 混合精度。
在 fp32 和 fp8 精度下，ibm 新款高能效 ai 芯片的每秒浮点运算次数，分别达到 16tflops 和 25.6tflops；运算密度分别为 0.82tflops/mm^2 和 1.31tflops/mm^2；能效比分别为 3.5tflops/w 和 1.9tflops。
在 int2 和 int4 精度下，ibm 新款高能效 ai 芯片的运算密度分别为 3.27tops/mm^2 和 5.22tops/mm^2；能效比分别为 16.5tops/w 和 8.9tops/w。
对比之下，ibm 此前推出的 14nm 芯片在 fp32 和 fp8 精度下的每秒浮点运算次数，分别为 2tflops 和 3tflops；在在 fp32 精度下的能效比为 1.4tflops/w。
另外，在 7nm 芯片阵营中，nvidia a100 gpu 在 fp16 精度下的能效比为 0.78tflops/w，在 int4 精度下的能效比为 3.12tops/w，均低于 ibm 新款高能效 ai 芯片。
▲ ibm 新款高能效 ai 芯片与同类产品的性能参数对比
二、采用 ibm 自研超低精度训练 / 推理设计
ibm 官网文章写道，其新款 ai 芯片之所以能够兼顾能效和性能，是因为该芯片支持超低精度混合 8 位浮点格式（（hfp8，hybrid fp8）。这是 ibm 于 2019 年发布的一种高度优化设计，允许 ai 芯片在低精度下完成训练任务和不同 ai 模型的推理任务，同时避免任何质量损失。
据悉，目前 ibm 将超低精度混合 8 位浮点格式用于训练、超低精度混合 4 位浮点格式用于推理，并开发了数据通信协议，以提升多核心 ai 芯片上不同核心间的数据交换效率。
据 ibm 官网文章，自 2015 年起，该公司每年将芯片的功耗性能提升 2.5 倍。这背后，ibm 致力于实现算法、架构、软件堆栈等各方面的创新。
▲ ibm 在低精度 ai 训练、推理方面的研究历程
除了采用超低精度混合 8 位浮点格式外，ibm 新款高能效 ai 芯片添加了电源管理功能。ibm 研究显示，在同等功率的情况下，通过减缓计算阶段的功率消耗，可以最大限度地提升芯片性能。
结语：ai 发展对芯片能耗提出更高要求
随着智能化浪潮席卷各个领域，ai 模型的复杂性日趋提高。相应地，ai 应用的能源消耗水平亦水涨船高。这一背景下，如何最大限度提升能效，成为 ai 芯片设计玩家们面临的重要命题。
ibm 通过采用超低精度混合 8 位浮点格式和内置电源管理功能，为其新款 ai 芯片实现了业界领先的高能效。但是，这一芯片尚未实现规模化量产，仍有待市场检验。
第一届深圳音频嘉年华6月3日在深圳湾体育中心盛大开幕
基于AD7705与51单片机的数字电压表
晶柱切片後處理
总投资50亿元，和熠AMOLED高端显示模组项目开工
惠普战99商务本评测 一款颜值和性能兼备的高端商务笔记本
IBM 新款高能效 AI 芯片：能效比高过 NVIDIA A100
加速推进3D打印技术的未来
2月性价比之争：红米Note4X、360N5、魅蓝5S、华为荣耀V9，绝不忽悠值得选购！
高分工作！Uni3D：3D基础大模型，刷新多个SOTA！
国内首款具有完全知识产权的车规级AI智能驾驶芯片发布
基于C51单片机的通信测试仪器控制设计
微软Surface Book的铰链机制有望得到改善
MIUI 10全新设计语言带来软硬一体的全面屏体验
Intel将发布全新的Agilex FPGA芯片
华米科技 Amazfit GTS 2 颜值最高的智能手表
路由器设置大揭秘
MAX5949A/MAX5949B热插拔控制器
不同操作系统间QoR性能存在差异
如何用OpenCL实现FPGA上的大型卷积网络加速？
毫米波雷达用于监测生命体征信号的技术解析