MLPerf 3.0最新发榜，戴尔AI和边缘服务器拿下历史最好成绩
北美时间4月5日，全球权威 ai 基准测试 mlperf 3.0 最新结果正式公布，戴尔新一代ai与边缘计算服务器取得有史以来最好成绩：
数据中心赛道，戴尔新一代gpu服务器poweredge xe9680斩获3项第一、9项第二；
边缘计算赛道，戴尔poweredge xr系列边缘计算服务器拿下10项第一。
恭喜戴尔！
mlperf由ml commons联盟组织，是全球最知名、参与度最高的ai计算基准测试，包含training（训练）和inference（推理）两大领域。mlperf选择ai各个热门领域的经典模型，在满足技术规范前提下（如训练精度、延迟等），对各大厂商的硬件、软件和服务的训练和推理性能提供公平的评估。
最新公布的ai推理基准测试mlperf inference v3.0，包含图像分类resnet-50、目标检测retinanet、医疗图像3d u-net、语音识别rnn-t、自然语言处理bert-large、推荐系统dlrm等6个模型赛道，汇集了来自全球25个厂商超过6700条性能数据，以及2400条性能功耗数据。
mlperf inference v3.0的ai业务场景
在此次mlperf inference v3.0测试中，戴尔提交了27种不同的服务器配置，共计255项测试数据。产品涵盖poweredge xe9680、r750xa、xr7620、xr5610等型号，参测的gpu型号包括nvidia h100、a100、a30、l4、t4、a2以及高通ai加速卡等，具有广泛的选型参考性。
数据中心赛道表现
在mlperf inference最受关注的数据中心基准测试（datacenter closed）中，戴尔16g poweredge服务器xe9680首次亮相便斩获优异成绩。
8卡h100配置的poweredge xe9680参加了12项测试，所有测试成绩均位居前2，其中在retinanet server(目标检测)、retinanet offine(目标检测)和rnn-t server（语音识别）三个项目赛道皆拿下第1名的最优成绩。
datacenter retinanet server测试数据
datacenter retinanet offline测试数据
datacenter r-nnt server测试数据
同上一期的mlperf inference v2.1相比，poweredge xe9680将dell在各个项目的最好成绩分别提升了3倍-8.4倍。
戴尔的mlperf inference v3.0
与inference v2.1成绩对比
mlperf inference v3.0 datacenter
全部dell机型测试数据
边缘计算赛道表现
边缘计算是mlperf关注的另一类ai推理的应用场景，有别于数据中心对极致算力的最求，边缘计算场景对于计算设备部署的环境要求更加多元化，也更加看重计算设备的功耗与成本。因此，在满足ai计算吞吐和延迟性能要求的前提下，提供更高性价比以及性能功耗比的ai计算解决方案，是戴尔在边缘ai计算重点关注的内容。
在此次mlperf inference v3.0 edge closed power测试中（主要衡量边缘ai计算的性能功耗比），戴尔xr系列边缘计算优化服务器在全部14项测试中取得了10个项目的最佳成绩。其中， poweredge xr5610边缘计算优化服务器搭配nvidia最新发布的l4 gpu，取得9个项目第一，poweredge xr4000搭配nvidia a2 gpu，在bert 99 offline项目中取得了最佳成绩。
* dell xr5610参加的9个项目分别是resnet single stream、resnet multi stream、retinanet single stream,、retinanet offline、3d-unet 99 single stream、3d-unet 99 offline、3d-unet 99.9 offline、rnn-t single stream、bert-99 single stream。
poweredge xr5610
poweredge xr4000
nvidia l4是一款单宽gpu加速卡，专为ai视频和生成式ai用例而设计，较上一代gpu实现了2.7倍的生成式ai性能提升。dell poweredge服务器在今年一季度开始提供对l4的选型支持。
以此次ai inference v3.0 edge的测试项目中的图像分类resnet-50与自然语言处理bert-99为例，l4的推理计算性能分别达到t4的2.1倍和2.13倍。而同a10相比，l4绝大多数的规格指标与a10非常接近，功耗却不到其一半，同时实现了大量成本节约。l4的发布，将成为未来ai推理计算具备高竞争力的gpu选型。
l4与t4 ai推理性能对比
当下，chatgpt带动了全球对ai大模型以及基于ai大模型的aigc(人工智能内容生成)的关注与投资热潮。与之前的ai小模型相比，以chatgpt为代表的大规模预训练模型，参数规模增加了100倍-1000倍。训练如此庞大的ai大模型需要更大的ai计算集群，以及更多的训练数据集。
以openai的gpt为例，gpt-3拥有1750亿参数，2020年gpt-3发布时训练该模型使用了超过10000张nvidia gpu卡。而根据第三方测算，如果使用1024张a100/a800 gpu训练gpt-3，仍然需要超过一个月的时间。
随着aigc时代的带来，人工智能产业化对于ai算力的需求将被带到一个新的高度。在本次mlperf inference v3.0测试中取得优异成绩的poweredge xe9680戴尔专为复杂计算和 ai/ml/dl 以及 hpc 密集型工作负载而构建，可以快速开发、训练及部署像chatgpt这样的大型机器学习模型，助推更多aigc场景快速落地。
poweredge xe9680
此外，ai与边缘的融合是未来ai计算的趋势之一，越来越多的ai计算负载特别是ai推理计算将会出现在边缘侧。边缘端it设备的部署环境千差万别，有的时候很难像核心数据中心拥有同样完备的机房环境，可能会面临更加复杂、恶劣的设备运行环境。
戴尔xr系列服务器对于高温、低温、海拔、防尘、抗震的运行环境有更强的适应能力，通过了电信和海事行业标准。机箱深度通常只有通用机架服务器的一半左右，机器外形更加精巧紧凑。
此次参加ai inference v3.0 edge项目测试的xr系列服务器，是戴尔科技专为面向边缘计算场景设计与优化的服务器，此前已发布了xe2420、xr12、xr11、xr4000等产品，今年陆续会有更多新品发布，请大家拭目以待！
踏准补贴退坡时间节点,永兴特钢加速其锂电原材料的业务布局
木质无线钻床diy图解
74hc244的功能及封装尺寸图
三星S11系列三款钢化膜曝光 最小尺寸在6.2英寸左右
三星S8将于四月初发布 6000元起售
MLPerf 3.0最新发榜，戴尔AI和边缘服务器拿下历史最好成绩
索尼全画幅旗舰微单A9上手图赏：更加专业更加轻便
鸿蒙不是第一个想要取代安卓的操作系统
明纬电源480WI业用DIN导轨型单组输出——NDR-480系列
雪城软件：物联网与信息化为生态环境插上科技之翼
红色iphone7最新消息：上市一月“价格回归”，红色版iPhone7“不受待见”！
柯马震撼发布智能柔性激光焊接站
韦乐平：SDN进入理性发展阶段 NFV化已开始落地
聚势远航·慧智未来｜智慧金融专委会第三期创新沙龙兆芯场圆满收官
智能门锁之电源管理2
第四代新的Speedcore Gen4 eFPGA架构已经推出 采用台积电7nm工艺节点
使用碳化硅进行双向车载充电机设计
佳能正式推出两款PRO系列A3+幅面专业照片打印机新品
小功率高频感应加热器的设计与制作
如何看待传统存储复制存在的8大痛点
数据中心赛道，戴尔新一代gpu服务器poweredge xe9680斩获3项第一、9项第二；
边缘计算赛道，戴尔poweredge xr系列边缘计算服务器拿下10项第一。
恭喜戴尔！
mlperf由ml commons联盟组织，是全球最知名、参与度最高的ai计算基准测试，包含training（训练）和inference（推理）两大领域。mlperf选择ai各个热门领域的经典模型，在满足技术规范前提下（如训练精度、延迟等），对各大厂商的硬件、软件和服务的训练和推理性能提供公平的评估。
最新公布的ai推理基准测试mlperf inference v3.0，包含图像分类resnet-50、目标检测retinanet、医疗图像3d u-net、语音识别rnn-t、自然语言处理bert-large、推荐系统dlrm等6个模型赛道，汇集了来自全球25个厂商超过6700条性能数据，以及2400条性能功耗数据。
mlperf inference v3.0的ai业务场景
在此次mlperf inference v3.0测试中，戴尔提交了27种不同的服务器配置，共计255项测试数据。产品涵盖poweredge xe9680、r750xa、xr7620、xr5610等型号，参测的gpu型号包括nvidia h100、a100、a30、l4、t4、a2以及高通ai加速卡等，具有广泛的选型参考性。
数据中心赛道表现
在mlperf inference最受关注的数据中心基准测试（datacenter closed）中，戴尔16g poweredge服务器xe9680首次亮相便斩获优异成绩。
8卡h100配置的poweredge xe9680参加了12项测试，所有测试成绩均位居前2，其中在retinanet server(目标检测)、retinanet offine(目标检测)和rnn-t server（语音识别）三个项目赛道皆拿下第1名的最优成绩。
datacenter retinanet server测试数据
datacenter retinanet offline测试数据
datacenter r-nnt server测试数据
同上一期的mlperf inference v2.1相比，poweredge xe9680将dell在各个项目的最好成绩分别提升了3倍-8.4倍。
戴尔的mlperf inference v3.0
与inference v2.1成绩对比
mlperf inference v3.0 datacenter
全部dell机型测试数据
边缘计算赛道表现
边缘计算是mlperf关注的另一类ai推理的应用场景，有别于数据中心对极致算力的最求，边缘计算场景对于计算设备部署的环境要求更加多元化，也更加看重计算设备的功耗与成本。因此，在满足ai计算吞吐和延迟性能要求的前提下，提供更高性价比以及性能功耗比的ai计算解决方案，是戴尔在边缘ai计算重点关注的内容。
在此次mlperf inference v3.0 edge closed power测试中（主要衡量边缘ai计算的性能功耗比），戴尔xr系列边缘计算优化服务器在全部14项测试中取得了10个项目的最佳成绩。其中， poweredge xr5610边缘计算优化服务器搭配nvidia最新发布的l4 gpu，取得9个项目第一，poweredge xr4000搭配nvidia a2 gpu，在bert 99 offline项目中取得了最佳成绩。
* dell xr5610参加的9个项目分别是resnet single stream、resnet multi stream、retinanet single stream,、retinanet offline、3d-unet 99 single stream、3d-unet 99 offline、3d-unet 99.9 offline、rnn-t single stream、bert-99 single stream。
poweredge xr5610
poweredge xr4000
nvidia l4是一款单宽gpu加速卡，专为ai视频和生成式ai用例而设计，较上一代gpu实现了2.7倍的生成式ai性能提升。dell poweredge服务器在今年一季度开始提供对l4的选型支持。
以此次ai inference v3.0 edge的测试项目中的图像分类resnet-50与自然语言处理bert-99为例，l4的推理计算性能分别达到t4的2.1倍和2.13倍。而同a10相比，l4绝大多数的规格指标与a10非常接近，功耗却不到其一半，同时实现了大量成本节约。l4的发布，将成为未来ai推理计算具备高竞争力的gpu选型。
l4与t4 ai推理性能对比
当下，chatgpt带动了全球对ai大模型以及基于ai大模型的aigc(人工智能内容生成)的关注与投资热潮。与之前的ai小模型相比，以chatgpt为代表的大规模预训练模型，参数规模增加了100倍-1000倍。训练如此庞大的ai大模型需要更大的ai计算集群，以及更多的训练数据集。
以openai的gpt为例，gpt-3拥有1750亿参数，2020年gpt-3发布时训练该模型使用了超过10000张nvidia gpu卡。而根据第三方测算，如果使用1024张a100/a800 gpu训练gpt-3，仍然需要超过一个月的时间。
随着aigc时代的带来，人工智能产业化对于ai算力的需求将被带到一个新的高度。在本次mlperf inference v3.0测试中取得优异成绩的poweredge xe9680戴尔专为复杂计算和 ai/ml/dl 以及 hpc 密集型工作负载而构建，可以快速开发、训练及部署像chatgpt这样的大型机器学习模型，助推更多aigc场景快速落地。
poweredge xe9680
此外，ai与边缘的融合是未来ai计算的趋势之一，越来越多的ai计算负载特别是ai推理计算将会出现在边缘侧。边缘端it设备的部署环境千差万别，有的时候很难像核心数据中心拥有同样完备的机房环境，可能会面临更加复杂、恶劣的设备运行环境。
戴尔xr系列服务器对于高温、低温、海拔、防尘、抗震的运行环境有更强的适应能力，通过了电信和海事行业标准。机箱深度通常只有通用机架服务器的一半左右，机器外形更加精巧紧凑。
此次参加ai inference v3.0 edge项目测试的xr系列服务器，是戴尔科技专为面向边缘计算场景设计与优化的服务器，此前已发布了xe2420、xr12、xr11、xr4000等产品，今年陆续会有更多新品发布，请大家拭目以待！
踏准补贴退坡时间节点,永兴特钢加速其锂电原材料的业务布局
木质无线钻床diy图解
74hc244的功能及封装尺寸图
三星S11系列三款钢化膜曝光 最小尺寸在6.2英寸左右
三星S8将于四月初发布 6000元起售
MLPerf 3.0最新发榜，戴尔AI和边缘服务器拿下历史最好成绩
索尼全画幅旗舰微单A9上手图赏：更加专业更加轻便
鸿蒙不是第一个想要取代安卓的操作系统
明纬电源480WI业用DIN导轨型单组输出——NDR-480系列
雪城软件：物联网与信息化为生态环境插上科技之翼
红色iphone7最新消息：上市一月“价格回归”，红色版iPhone7“不受待见”！
柯马震撼发布智能柔性激光焊接站
韦乐平：SDN进入理性发展阶段 NFV化已开始落地
聚势远航·慧智未来｜智慧金融专委会第三期创新沙龙兆芯场圆满收官
智能门锁之电源管理2
第四代新的Speedcore Gen4 eFPGA架构已经推出 采用台积电7nm工艺节点
使用碳化硅进行双向车载充电机设计
佳能正式推出两款PRO系列A3+幅面专业照片打印机新品
小功率高频感应加热器的设计与制作
如何看待传统存储复制存在的8大痛点