最新MLPerf v3.1测试结果认证，Gaudi2在GPT-J模型上推理性能惊人
英特尔产品在全新mlcommons ai推理性能测试中尽显优势
今日，mlcommons公布针对 60 亿参数大语言模型及计算机视觉与自然语言处理模型gpt-j的 mlperf推理v3.1 性能基准测试结果，其中包括英特尔所提交的基于habana® gaudi®2 加速器、第四代英特尔®至强®可扩展处理器，以及英特尔®至强® cpu max 系列的测试结果。该结果显示了英特尔在ai推理方面极具竞争力的表现，并进一步加强了其对加速从云到网络到边缘再到端的工作负载中大规模部署ai的承诺。
英特尔执行副总裁兼数据中心与人工智能事业部总经理sandra rivera表示：“正如最新的 mlcommons结果显示，我们拥有强大的、具有竞争力的人工智能产品组合以满足客户对高性能、高效率的深度学习推理及训练的需求，同时，针对各种规模的人工智能模型，英特尔产品组合均具有领先的性价比优势。”
根据6月披露的mlcommons ai训练结果和hugging face性能基准测试验证，gaudi2 在先进的视觉语言模型上，性能可以超越英伟达的h100处理器，而今天的结果进一步证明了英特尔能够提供满足ai计算需求的、英伟达h100和a100的唯一可行的替代方案。
考虑到客户的个性化需求，英特尔正在通过能够帮助解决ai工作负载中推理与训练问题的产品，让ai无处不在。英特尔的ai产品为客户提供了可根据各自性能、效率及目标成本进行灵活匹配以获取最佳ai解决方案的理想选择，同时亦帮助客户开放生态系统。
关于habana gaudi2的测试结果：
habana gaudi2 在gpt-j模型上的推理结果强有力地验证了其具有竞争力的性能。
· gaudi2 在gpt-j-99 和gpt-j-99.9 上的服务器查询和离线样本的推理性能分别为78.58 次/秒和84.08 次/秒。
· 与英伟达h100相比，gaudi2提供了令人信服的卓越性能，h100相对于gaudi2仅表现出 1.09 倍（服务器）和 1.28 倍（离线）的轻微性能优势。
· gaudi2 拥有高于英伟达a100 2.4 倍（服务器）、 2 倍（离线）的性能。
· gaudi2 提交的结果采用 fp8数据类型，并在这种新数据类型上达到了 99.9% 的准确率。
随着每6-8周公布的 gaudi2 软件更新，英特尔将继续在 mlperf 基准测试中展现其产品的性能提升，以及持续扩大的模型覆盖范围。
habana gaudi2 在gpt-j模型上的推理结果验证了其具有竞争力的性能
关于第四代至强可扩展处理器的测试结果：
英特尔提交了基于第四代英特尔至强可扩展处理器的7个推理基准测试，其中包括gpt-j模型。结果显示，包括视觉、语言处理、语音和音频翻译模型，以及更大的 dlrm v2 深度学习推荐模型及chatgpt-j 模型在内，第四代至强处理器对于通用 ai 工作负载拥有出色的性能。此外，截至目前，英特尔仍是唯一一家使用行业标准的深度学习生态系统软件提交公开 cpu 结果的厂商。
· 第四代英特尔至强可扩展处理器是通过流行的ai框架与库构建及部署通用ai工作负载的理想选择。对于gpt-j对约 1000-1500 字新闻稿进行100 字总结的任务，第四代至强可扩展处理器可在离线模式下完成每秒两段的总结提要，在实时服务器模式下完成每秒一段的总结提要。
· 英特尔首次提交了英特尔至强cpu max 系列的mlperf 结果，该系列可提供高达64 gb的高带宽内存。对于 gpt-j而言，它是仅有的能够达到 99.9% 准确度的 cpu，这对于对精度要求极高的应用来说至关重要。
· 英特尔与oem厂商合作提交了测试结果，进一步展示了其ai性能的可扩展性，以及基于英特尔至强处理器的通用服务器的可获取性，充分满足客户服务水平协议 (sla)。
第四代至强可扩展处理器是构建及部署通用ai工作负载的理想选择
mlperf 是业内享有盛名的 ai 性能基准测试，旨在实现公平、可重复的产品性能比较。英特尔计划为下一个 mlperf测试提交新的ai训练性能结果。持续的性能更新彰显了英特尔致力于帮助客户、助力ai技术演进所迈出的每一步，无论是低成本的ai处理器，还是面向网络、云和企业用户的高性能ai硬件加速器或是 gpu。
更多内容：基于 mlperf v.31 推理的性能指标（基准结果）| mlcommons公告
说明：相关配置说明，请查看mlcommons网页。 结果可能不同。
3D玻璃及板材+LDS工艺必将成为5G时代智能手机用料
英飞凌携手合作伙伴亮相2016年美国RSA信息安全大会展示物联网安全
植保仪器实现了一定程度上的自动化，提高了工作效率
新的屏幕技术，使其2019款iPhone中至少有一款机型更薄更轻
高通为何没能成功将英特尔拉下马？
最新MLPerf v3.1测试结果认证，Gaudi2在GPT-J模型上推理性能惊人
无人机下一步如何发展
加速高端封装和车载芯片开发及验证 长电科技上海研发子公司增资至10亿元
多Agent机器人系统在图书归类中的应用
黑鲨4S怎么样：新增屏幕压感，拉满游戏竞技体验
爱普生最新消防用AR系统，可以更有效和快速的救人于水火
可穿戴设备将引领新一轮的消费电子爆发
同洲电子抢跑广电系智能电视
华为9月手机销量重回第一
有什么方法可以同时兼顾SQLServer数据库的工作效率和性能呢
模拟集成电路和数字集成电路的区别
李彦宏：人工智能的发展将经历三个大的历史阶段
国内外的工业机器人的差距主要体现在哪
投资者对新兴科技在2019年的发展前景极为看好
PC+TurboPMAC实现开放式数控系统
今日，mlcommons公布针对 60 亿参数大语言模型及计算机视觉与自然语言处理模型gpt-j的 mlperf推理v3.1 性能基准测试结果，其中包括英特尔所提交的基于habana® gaudi®2 加速器、第四代英特尔®至强®可扩展处理器，以及英特尔®至强® cpu max 系列的测试结果。该结果显示了英特尔在ai推理方面极具竞争力的表现，并进一步加强了其对加速从云到网络到边缘再到端的工作负载中大规模部署ai的承诺。
英特尔执行副总裁兼数据中心与人工智能事业部总经理sandra rivera表示：“正如最新的 mlcommons结果显示，我们拥有强大的、具有竞争力的人工智能产品组合以满足客户对高性能、高效率的深度学习推理及训练的需求，同时，针对各种规模的人工智能模型，英特尔产品组合均具有领先的性价比优势。”
根据6月披露的mlcommons ai训练结果和hugging face性能基准测试验证，gaudi2 在先进的视觉语言模型上，性能可以超越英伟达的h100处理器，而今天的结果进一步证明了英特尔能够提供满足ai计算需求的、英伟达h100和a100的唯一可行的替代方案。
考虑到客户的个性化需求，英特尔正在通过能够帮助解决ai工作负载中推理与训练问题的产品，让ai无处不在。英特尔的ai产品为客户提供了可根据各自性能、效率及目标成本进行灵活匹配以获取最佳ai解决方案的理想选择，同时亦帮助客户开放生态系统。
关于habana gaudi2的测试结果：
habana gaudi2 在gpt-j模型上的推理结果强有力地验证了其具有竞争力的性能。
· gaudi2 在gpt-j-99 和gpt-j-99.9 上的服务器查询和离线样本的推理性能分别为78.58 次/秒和84.08 次/秒。
· 与英伟达h100相比，gaudi2提供了令人信服的卓越性能，h100相对于gaudi2仅表现出 1.09 倍（服务器）和 1.28 倍（离线）的轻微性能优势。
· gaudi2 拥有高于英伟达a100 2.4 倍（服务器）、 2 倍（离线）的性能。
· gaudi2 提交的结果采用 fp8数据类型，并在这种新数据类型上达到了 99.9% 的准确率。
随着每6-8周公布的 gaudi2 软件更新，英特尔将继续在 mlperf 基准测试中展现其产品的性能提升，以及持续扩大的模型覆盖范围。
habana gaudi2 在gpt-j模型上的推理结果验证了其具有竞争力的性能
关于第四代至强可扩展处理器的测试结果：
英特尔提交了基于第四代英特尔至强可扩展处理器的7个推理基准测试，其中包括gpt-j模型。结果显示，包括视觉、语言处理、语音和音频翻译模型，以及更大的 dlrm v2 深度学习推荐模型及chatgpt-j 模型在内，第四代至强处理器对于通用 ai 工作负载拥有出色的性能。此外，截至目前，英特尔仍是唯一一家使用行业标准的深度学习生态系统软件提交公开 cpu 结果的厂商。
· 第四代英特尔至强可扩展处理器是通过流行的ai框架与库构建及部署通用ai工作负载的理想选择。对于gpt-j对约 1000-1500 字新闻稿进行100 字总结的任务，第四代至强可扩展处理器可在离线模式下完成每秒两段的总结提要，在实时服务器模式下完成每秒一段的总结提要。
· 英特尔首次提交了英特尔至强cpu max 系列的mlperf 结果，该系列可提供高达64 gb的高带宽内存。对于 gpt-j而言，它是仅有的能够达到 99.9% 准确度的 cpu，这对于对精度要求极高的应用来说至关重要。
· 英特尔与oem厂商合作提交了测试结果，进一步展示了其ai性能的可扩展性，以及基于英特尔至强处理器的通用服务器的可获取性，充分满足客户服务水平协议 (sla)。
第四代至强可扩展处理器是构建及部署通用ai工作负载的理想选择
mlperf 是业内享有盛名的 ai 性能基准测试，旨在实现公平、可重复的产品性能比较。英特尔计划为下一个 mlperf测试提交新的ai训练性能结果。持续的性能更新彰显了英特尔致力于帮助客户、助力ai技术演进所迈出的每一步，无论是低成本的ai处理器，还是面向网络、云和企业用户的高性能ai硬件加速器或是 gpu。
更多内容：基于 mlperf v.31 推理的性能指标（基准结果）| mlcommons公告
说明：相关配置说明，请查看mlcommons网页。 结果可能不同。
3D玻璃及板材+LDS工艺必将成为5G时代智能手机用料
英飞凌携手合作伙伴亮相2016年美国RSA信息安全大会展示物联网安全
植保仪器实现了一定程度上的自动化，提高了工作效率
新的屏幕技术，使其2019款iPhone中至少有一款机型更薄更轻
高通为何没能成功将英特尔拉下马？
最新MLPerf v3.1测试结果认证，Gaudi2在GPT-J模型上推理性能惊人
无人机下一步如何发展
加速高端封装和车载芯片开发及验证 长电科技上海研发子公司增资至10亿元
多Agent机器人系统在图书归类中的应用
黑鲨4S怎么样：新增屏幕压感，拉满游戏竞技体验
爱普生最新消防用AR系统，可以更有效和快速的救人于水火
可穿戴设备将引领新一轮的消费电子爆发
同洲电子抢跑广电系智能电视
华为9月手机销量重回第一
有什么方法可以同时兼顾SQLServer数据库的工作效率和性能呢
模拟集成电路和数字集成电路的区别
李彦宏：人工智能的发展将经历三个大的历史阶段
国内外的工业机器人的差距主要体现在哪
投资者对新兴科技在2019年的发展前景极为看好
PC+TurboPMAC实现开放式数控系统