亚马逊云科技与英伟达携手开发下一代基础设施
助力大型机器学习模型训练和生成式ai应用程序构建
部署在amazon ec2 ultracluster中的新型amazon ec2 p5实例经过充分优化，可以利用英伟达 hopper gpu加速生成式ai的大规模训练和推理
北京2023年3月22日 /美通社/ -- 亚马逊旗下的亚马逊云科技和英伟达宣布了一项多方合作，致力于构建全球最具可扩展性且按需付费的人工智能（ai）基础设施，以便训练日益复杂的大语言模型（llm）和开发生成式ai应用程序。
借助由nvidia h100 tensor core gpu支持的下一代amazon elastic compute cloud（amazon ec2）p5实例，以及亚马逊云科技最先进的网络和可扩展性，此次合作将提供高达20 exaflops的计算性能来帮助构建和训练更大规模的深度学习模型。p5实例将是第一个利用亚马逊云科技第二代amazon elastic fabric adapter（efa）网络技术的gpu实例，可提供3200 gbps的低延迟和高带宽网络吞吐量。因此客户能够在amazon ec2 ultracluster中扩展多达2万个h100 gpu，满足按需访问超级计算机的ai性能需求。
亚马逊云科技和英伟达合作已超过12年，为人工智能、机器学习、图形、游戏和高性能计算（hpc）等各种应用提供了大规模、低成本的gpu解决方案。亚马逊云科技首席执行官adam selipsky表示，亚马逊云科技在交付基于gpu的实例方面拥有无比丰富的经验，每一代实例都大大增强了可扩展性，如今众多客户将机器学习训练工作负载扩展到1万多个gpu。借助第二代amazon efa，客户能够将其p5实例扩展到超过2万个英伟达h100 gpu，为包括初创公司、大企业在内的所有规模客户提供所需的超级计算能力。
加速计算和人工智能已经到来，而且适逢其时。加速计算提升性能的同时，降低了成本和功耗，让企业事半功倍。生成式ai已促使企业重新思考产品和商业模式，力求成为颠覆者，而不是被颠覆。英伟达创始人兼首席执行官黄仁勋表示，亚马逊云科技是英伟达的长期合作伙伴，也是首家提供英伟达gpu的云服务提供商。我们很高兴能够结合各自的专长、规模和业务范围，帮助客户利用加速计算和生成式ai抓住未来的大好机遇。
新的超级计算集群
新的p5实例构建于亚马逊云科技和英伟达十多年来在ai和hpc基础设施交付方面的合作基础之上，也立足于双方在p2、p3、p3dn和p4d(e）前四代实例方面的合作。p5实例是基于英伟达gpu的第五代亚马逊云科技产品，与最初部署的英伟达gpu（始于cg1实例）已相隔近13年。
p5实例非常适合对日益复杂的llm和计算机视觉模型进行训练和运行推理，并应用于要求严苛的计算密集型生成式ai应用程序，包括问题回答、代码生成、视频图像生成和语音识别等领域。
对于致力于以可扩展和安全的方式将ai赋能的创新推向市场的企业和初创公司而言，p5实例是不二之选。p5实例采用8个英伟达h100 gpu，能够在一个amazon ec2实例中实现16 petaflops的混合精度性能、640 gb的高带宽内存和3200 gbps的网络连接（比上一代实例高出8倍）。p5实例性能的提升使机器学习模型训练时间加快了6倍（将训练时间从数天缩短到数小时），额外的gpu内存可帮助客户训练更庞大更复杂的模型。预计p5实例的机器学习模型训练成本将比上一代降低40%。相比灵活性较差的云产品或昂贵的本地系统，它为客户提供了更高的效率。
amazon ec2 p5实例部署在amazon ec2 ultracluster的超大规模集群中，该集群由云端最高性能的计算、网络和存储系统组成。每个ec2 ultracluster都是世界上功能最强大的超级计算机之一，助力客户运行最复杂的多节点机器学习训练和分布式hpc工作负载。它们采用pb级无阻塞网络，基于amazon efa，这种面向amazon ec2实例的网络接口使客户能够在亚马逊云科技上运行需要在大规模高级节点间通信的应用程序。efa的定制操作系统绕过硬件接口，并与英伟达gpudirect rdma整合，可降低延迟、提高带宽利用率，从而提升实例间通信性能，这对于在数百个p5节点上扩展深度学习模型的训练至关重要。借助p5实例和efa，机器学习应用程序可以使用nvidia collective communications library（nccl）扩展到多达2万个h100 gpu。因此，客户可以通过亚马逊云科技的按需弹性和灵活扩展能力，获得本地hpc集群的应用性能。除了这些出色的计算能力外，客户可以使用业界最广泛最深入的服务组合，比如面向对象存储的amazon s3、面向高性能文件系统的amazon fsx，以及用于构建、训练和部署深度学习应用的amazon sagemaker。p5实例将在今后几周提供有限预览版。欲了解详情，请访问https://pages.awscloud.com/ec2-p5-interest.html。
借助新的amazon ec2 p5实例，anthropic、cohere、hugging face、pinterest和stability ai等客户将能够大规模构建和训练最庞大的机器学习模型。基于其它几代amazon ec2实例的合作将帮助初创公司、大企业和研究人员无缝扩展来满足各自的机器学习需求。
anthropic构建了可靠、可解释和可操控的ai系统，将创造巨大商业价值并造福公众。 anthropic正在努力构建可靠、可解释和可操控的ai系统。虽然当前已有的大型通用ai系统大有助益，但它们却是不可预测、不可靠和不透明的。我们的目的是解决这些问题，为人们部署更实用的系统。anthropic的联合创始人tom brown表示，我们是全球为数不多的在深度学习研究领域建立基础模型的组织之一。这种模型高度复杂，为了开发和训练先进的模型，我们需要在庞大的gpu集群中有效地分布这些模型。我们正在广泛应用amazon ec2 p4实例，我们更为即将发布的p5实例感到兴奋。预计p5实例会提供比p4d实例更显著的性价比优势，它们可以满足构建下一代大语言模型和相关产品的大规模需求。
cohere是自然语言ai领域的先驱，它帮助开发者和企业使用世界领先的自然语言处理（nlp）技术构建出色的产品，同时确保数据的隐私和安全。 cohere不遗余力地帮助企业利用自然语言ai的强大功能，以自然直观的方式探索、生成和搜索信息，并做出反应，并将产品部署在多云的数据环境中，为客户提供最佳体验。cohere首席执行官aidan gomez表示，基于英伟达h100的amazon ec2 p5实例将释放企业潜能，利用计算能力以及cohere最先进的llm和生成式ai能力，更快地开发产品、拓展业务和扩大规模。
hugging face的使命是普及优秀的机器学习。 作为发展最迅猛的机器学习开源社区，我们如今在面向nlp、计算机视觉、生物学和强化学习等领域的平台上提供逾15万个预训练模型和2.5万个数据集。hugging face首席技术官兼联合创始人julien chaumond表示，鉴于大语言模型和生成式ai取得了显著进步，我们正与亚马逊云科技合作，以构建和贡献未来的开源模型。我们希望在结合了efa的ultracluster集群中通过大规模amazon sagemaker使用amazon ec2 p5实例，加快为所有客户交付新的基础ai模型。
如今，全球超过4.5亿人通过pinterest寻找视觉灵感，以购买符合自己品味的个性化产品、寻求线下创意，并发现最有才华的创作者。 我们在用例中广泛使用深度学习技术，比如对上传到我们平台上的数十亿张照片进行标记和分类，以及让用户获得从灵感到付诸行动的视觉搜索能力。pinterest首席架构师david chaiken表示，我们使用p3和最新的p4d等amazon gpu实例构建和部署了这些应用场景。我们希望使用由h100 gpu、efa和ultracluster加持的amazon ec2 p5实例，加快产品开发，为我们的客户提供共情式ai（empathetic ai）体验。
作为多模态、开源ai模型开发和部署领域的领导者，stability ai与公共和私营部门的合作伙伴合作，将这种下一代基础架构提供给全球受众。 stability ai的目标是最大限度地提高现代ai的普及性，以激发全球创造力和创新性。stability ai首席执行官emad mostaque表示，我们于2021年开始与亚马逊云科技合作，使用amazon ec2 p4d实例构建了一个潜在的文本到图像扩散模型stable diffusion，我们将该模型部署在大规模环境下，将模型训练时间从数月缩短到数周。当致力于开发下一代开源生成式ai模型并扩展到新模型时，我们很高兴能使用第二代ec2 ultracluster中的amazon ec2 p5实例。我们预计p5实例会进一步将我们的模型训练时间缩短4倍，从而使我们能够以更低的成本更快地提供突破性的ai。
为可扩展、高效的ai采用新的服务器设计
在h100发布之前，英伟达和在热力、电气和机械领域拥有专业知识的亚马逊云科技工程团队合作设计了服务器，以利用gpu提供大规模ai，重点关注亚马逊云科技基础设施的能源效率。在某些ai工作负载下，gpu的能效通常是cpu的20倍，对于llm而言，h100的能效比cpu高300倍。
双方的合作包括开发系统散热设计、集成式安全和系统管理、与amazon nitro硬件加速虚拟机管理程序一起实现安全性，以及针对亚马逊云科技定制efa网络结构的英伟达gpudirect™优化技术。
在亚马逊云科技和英伟达专注于服务器优化工作的基础上，两家公司现已开始合作开发未来的服务器设计，以借助新一代系统设计、冷却技术和网络可扩展性提高扩展效率。
万物基于ARM，它究竟是何方神圣
IT行业不光有996， 还有很多有趣的人、有趣的书
美国正在为科学和科学家“设置”国界 针对华裔科学家进行审查
魅族pro7什么时候上市？携手魅族mx7即将发布,配置碾压小米6成国产新机皇
深度解析中国SMT行业贴片机市场规模、供需平衡及价格分析
亚马逊云科技与英伟达携手开发下一代基础设施
使用MM32L0130片上IRM模块实现红外发码
意法半导体蓝牙SoC：以低功耗和高性价比实现厘米级定位
高通表示今年将推出30多款5G设备主要是智能手机
区块链是如何给予数据可信的力量
亮黑色苹果7抢购致官网瘫痪 128G多少钱都买不到
英码“深元”智慧工厂解决方案，提升管理效率，开启生产新时代！
麒麟970对手是骁龙845,提前布局5G！
第五批EMUI 11公测来袭，请收下这份圣诞礼物
关于Wifi设备的配网问题
双通道输出DC/DC转换器TPS62400/20的性能特点及应用
“智慧重庆·进而有为，华为重庆城市峰会2020”举办成功
我国网络空间日渐清朗，信息化成果惠及亿万群众
基于AT89CX051的A／D转换实现
GPS何时才能开辟新天地
部署在amazon ec2 ultracluster中的新型amazon ec2 p5实例经过充分优化，可以利用英伟达 hopper gpu加速生成式ai的大规模训练和推理
北京2023年3月22日 /美通社/ -- 亚马逊旗下的亚马逊云科技和英伟达宣布了一项多方合作，致力于构建全球最具可扩展性且按需付费的人工智能（ai）基础设施，以便训练日益复杂的大语言模型（llm）和开发生成式ai应用程序。
借助由nvidia h100 tensor core gpu支持的下一代amazon elastic compute cloud（amazon ec2）p5实例，以及亚马逊云科技最先进的网络和可扩展性，此次合作将提供高达20 exaflops的计算性能来帮助构建和训练更大规模的深度学习模型。p5实例将是第一个利用亚马逊云科技第二代amazon elastic fabric adapter（efa）网络技术的gpu实例，可提供3200 gbps的低延迟和高带宽网络吞吐量。因此客户能够在amazon ec2 ultracluster中扩展多达2万个h100 gpu，满足按需访问超级计算机的ai性能需求。
亚马逊云科技和英伟达合作已超过12年，为人工智能、机器学习、图形、游戏和高性能计算（hpc）等各种应用提供了大规模、低成本的gpu解决方案。亚马逊云科技首席执行官adam selipsky表示，亚马逊云科技在交付基于gpu的实例方面拥有无比丰富的经验，每一代实例都大大增强了可扩展性，如今众多客户将机器学习训练工作负载扩展到1万多个gpu。借助第二代amazon efa，客户能够将其p5实例扩展到超过2万个英伟达h100 gpu，为包括初创公司、大企业在内的所有规模客户提供所需的超级计算能力。
加速计算和人工智能已经到来，而且适逢其时。加速计算提升性能的同时，降低了成本和功耗，让企业事半功倍。生成式ai已促使企业重新思考产品和商业模式，力求成为颠覆者，而不是被颠覆。英伟达创始人兼首席执行官黄仁勋表示，亚马逊云科技是英伟达的长期合作伙伴，也是首家提供英伟达gpu的云服务提供商。我们很高兴能够结合各自的专长、规模和业务范围，帮助客户利用加速计算和生成式ai抓住未来的大好机遇。
新的超级计算集群
新的p5实例构建于亚马逊云科技和英伟达十多年来在ai和hpc基础设施交付方面的合作基础之上，也立足于双方在p2、p3、p3dn和p4d(e）前四代实例方面的合作。p5实例是基于英伟达gpu的第五代亚马逊云科技产品，与最初部署的英伟达gpu（始于cg1实例）已相隔近13年。
p5实例非常适合对日益复杂的llm和计算机视觉模型进行训练和运行推理，并应用于要求严苛的计算密集型生成式ai应用程序，包括问题回答、代码生成、视频图像生成和语音识别等领域。
对于致力于以可扩展和安全的方式将ai赋能的创新推向市场的企业和初创公司而言，p5实例是不二之选。p5实例采用8个英伟达h100 gpu，能够在一个amazon ec2实例中实现16 petaflops的混合精度性能、640 gb的高带宽内存和3200 gbps的网络连接（比上一代实例高出8倍）。p5实例性能的提升使机器学习模型训练时间加快了6倍（将训练时间从数天缩短到数小时），额外的gpu内存可帮助客户训练更庞大更复杂的模型。预计p5实例的机器学习模型训练成本将比上一代降低40%。相比灵活性较差的云产品或昂贵的本地系统，它为客户提供了更高的效率。
amazon ec2 p5实例部署在amazon ec2 ultracluster的超大规模集群中，该集群由云端最高性能的计算、网络和存储系统组成。每个ec2 ultracluster都是世界上功能最强大的超级计算机之一，助力客户运行最复杂的多节点机器学习训练和分布式hpc工作负载。它们采用pb级无阻塞网络，基于amazon efa，这种面向amazon ec2实例的网络接口使客户能够在亚马逊云科技上运行需要在大规模高级节点间通信的应用程序。efa的定制操作系统绕过硬件接口，并与英伟达gpudirect rdma整合，可降低延迟、提高带宽利用率，从而提升实例间通信性能，这对于在数百个p5节点上扩展深度学习模型的训练至关重要。借助p5实例和efa，机器学习应用程序可以使用nvidia collective communications library（nccl）扩展到多达2万个h100 gpu。因此，客户可以通过亚马逊云科技的按需弹性和灵活扩展能力，获得本地hpc集群的应用性能。除了这些出色的计算能力外，客户可以使用业界最广泛最深入的服务组合，比如面向对象存储的amazon s3、面向高性能文件系统的amazon fsx，以及用于构建、训练和部署深度学习应用的amazon sagemaker。p5实例将在今后几周提供有限预览版。欲了解详情，请访问https://pages.awscloud.com/ec2-p5-interest.html。
借助新的amazon ec2 p5实例，anthropic、cohere、hugging face、pinterest和stability ai等客户将能够大规模构建和训练最庞大的机器学习模型。基于其它几代amazon ec2实例的合作将帮助初创公司、大企业和研究人员无缝扩展来满足各自的机器学习需求。
anthropic构建了可靠、可解释和可操控的ai系统，将创造巨大商业价值并造福公众。 anthropic正在努力构建可靠、可解释和可操控的ai系统。虽然当前已有的大型通用ai系统大有助益，但它们却是不可预测、不可靠和不透明的。我们的目的是解决这些问题，为人们部署更实用的系统。anthropic的联合创始人tom brown表示，我们是全球为数不多的在深度学习研究领域建立基础模型的组织之一。这种模型高度复杂，为了开发和训练先进的模型，我们需要在庞大的gpu集群中有效地分布这些模型。我们正在广泛应用amazon ec2 p4实例，我们更为即将发布的p5实例感到兴奋。预计p5实例会提供比p4d实例更显著的性价比优势，它们可以满足构建下一代大语言模型和相关产品的大规模需求。
cohere是自然语言ai领域的先驱，它帮助开发者和企业使用世界领先的自然语言处理（nlp）技术构建出色的产品，同时确保数据的隐私和安全。 cohere不遗余力地帮助企业利用自然语言ai的强大功能，以自然直观的方式探索、生成和搜索信息，并做出反应，并将产品部署在多云的数据环境中，为客户提供最佳体验。cohere首席执行官aidan gomez表示，基于英伟达h100的amazon ec2 p5实例将释放企业潜能，利用计算能力以及cohere最先进的llm和生成式ai能力，更快地开发产品、拓展业务和扩大规模。
hugging face的使命是普及优秀的机器学习。 作为发展最迅猛的机器学习开源社区，我们如今在面向nlp、计算机视觉、生物学和强化学习等领域的平台上提供逾15万个预训练模型和2.5万个数据集。hugging face首席技术官兼联合创始人julien chaumond表示，鉴于大语言模型和生成式ai取得了显著进步，我们正与亚马逊云科技合作，以构建和贡献未来的开源模型。我们希望在结合了efa的ultracluster集群中通过大规模amazon sagemaker使用amazon ec2 p5实例，加快为所有客户交付新的基础ai模型。
如今，全球超过4.5亿人通过pinterest寻找视觉灵感，以购买符合自己品味的个性化产品、寻求线下创意，并发现最有才华的创作者。 我们在用例中广泛使用深度学习技术，比如对上传到我们平台上的数十亿张照片进行标记和分类，以及让用户获得从灵感到付诸行动的视觉搜索能力。pinterest首席架构师david chaiken表示，我们使用p3和最新的p4d等amazon gpu实例构建和部署了这些应用场景。我们希望使用由h100 gpu、efa和ultracluster加持的amazon ec2 p5实例，加快产品开发，为我们的客户提供共情式ai（empathetic ai）体验。
作为多模态、开源ai模型开发和部署领域的领导者，stability ai与公共和私营部门的合作伙伴合作，将这种下一代基础架构提供给全球受众。 stability ai的目标是最大限度地提高现代ai的普及性，以激发全球创造力和创新性。stability ai首席执行官emad mostaque表示，我们于2021年开始与亚马逊云科技合作，使用amazon ec2 p4d实例构建了一个潜在的文本到图像扩散模型stable diffusion，我们将该模型部署在大规模环境下，将模型训练时间从数月缩短到数周。当致力于开发下一代开源生成式ai模型并扩展到新模型时，我们很高兴能使用第二代ec2 ultracluster中的amazon ec2 p5实例。我们预计p5实例会进一步将我们的模型训练时间缩短4倍，从而使我们能够以更低的成本更快地提供突破性的ai。
为可扩展、高效的ai采用新的服务器设计
在h100发布之前，英伟达和在热力、电气和机械领域拥有专业知识的亚马逊云科技工程团队合作设计了服务器，以利用gpu提供大规模ai，重点关注亚马逊云科技基础设施的能源效率。在某些ai工作负载下，gpu的能效通常是cpu的20倍，对于llm而言，h100的能效比cpu高300倍。
双方的合作包括开发系统散热设计、集成式安全和系统管理、与amazon nitro硬件加速虚拟机管理程序一起实现安全性，以及针对亚马逊云科技定制efa网络结构的英伟达gpudirect™优化技术。
在亚马逊云科技和英伟达专注于服务器优化工作的基础上，两家公司现已开始合作开发未来的服务器设计，以借助新一代系统设计、冷却技术和网络可扩展性提高扩展效率。
万物基于ARM，它究竟是何方神圣
IT行业不光有996， 还有很多有趣的人、有趣的书
美国正在为科学和科学家“设置”国界 针对华裔科学家进行审查
魅族pro7什么时候上市？携手魅族mx7即将发布,配置碾压小米6成国产新机皇
深度解析中国SMT行业贴片机市场规模、供需平衡及价格分析
亚马逊云科技与英伟达携手开发下一代基础设施
使用MM32L0130片上IRM模块实现红外发码
意法半导体蓝牙SoC：以低功耗和高性价比实现厘米级定位
高通表示今年将推出30多款5G设备主要是智能手机
区块链是如何给予数据可信的力量
亮黑色苹果7抢购致官网瘫痪 128G多少钱都买不到
英码“深元”智慧工厂解决方案，提升管理效率，开启生产新时代！
麒麟970对手是骁龙845,提前布局5G！
第五批EMUI 11公测来袭，请收下这份圣诞礼物
关于Wifi设备的配网问题
双通道输出DC/DC转换器TPS62400/20的性能特点及应用
“智慧重庆·进而有为，华为重庆城市峰会2020”举办成功
我国网络空间日渐清朗，信息化成果惠及亿万群众
基于AT89CX051的A／D转换实现
GPS何时才能开辟新天地