NVIDIA在推理方面取得突破，从云端到边缘实现更智能、更具互动性的对话式AI
tensorrt 8为医疗、汽车和金融领域的领先企业提供全球最快ai推理性能
加利福尼亚州圣克拉拉，太平洋时间2021年7月20日——nvidia于今日发布公司第八代ai软件tensorrt™ 8。该软件将语言查询推理时间缩短了一半，使开发者能够从云端到边缘构建全球最佳性能的搜索引擎、广告推荐和聊天机器人。
tensorrt 8的各项优化为语言应用带来了创纪录的速度，能够在1.2毫秒内运行bert-large——全球最广为采用的基于transformer的模型之一。过去，企业不得不缩减模型大小，而这会导致结果出现大幅偏差。现在有了tensorrt 8，企业可以将其模型扩大一倍或两倍，从而大幅提高精度。
nvidia开发者计划副总裁greg estes表示：“ai模型正以指数级的速度增长。全世界对ai实时应用的使用需求正在激增。这使企业必须部署最先进的推理解决方案。最新版本的tensorrt引入了多项新功能，使企业能够以前所未有的质量和响应速度向其客户提供对话式ai应用。”
五年来，医疗、汽车、金融和零售等各个领域27，500家企业的超35万名开发者下载tensorrt近250万次。tensorrt可部署于超大规模数据中心、嵌入式或汽车产品平台。
最新推理创新
除了针对transformer的优化之外，tensorrt 8还通过其他两项关键特性，实现了ai推理方面的突破。
其一是稀疏性，这是助力推动nvidia ampere架构gpu性能提升的一项全新技术，它不但提高了效率，还使开发者能够通过减少计算操作来加速其神经网络。
其二是量化感知训练，开发者能够使用训练好的模型，以int8精度运行推理，在这一过程中不会损失精度。这大大减少了计算和存储成本，从而在tensor core核心上实现高效推理。
广泛的行业支持
行业领导者已将tensorrt用于他们在对话式ai和其他各个领域的深度学习推理应用。
hugging face是开源ai技术的领导者，其客户包括全球多个行业领域的大规模ai服务提供商。该公司正与nvidia开展密切合作，推出能够助力实现大规模文本分析、神经搜索和对话式应用的开创性ai服务。
hugging face产品总监jeff boudier表示：“我们正在与nvidia开展密切合作，以基于nvidia gpu，为最先进的模型提供最佳性能。hugging face加速推理api已经能够为基于nvidia gpu的transformer模型提供高达100倍的速度提升。通过tensorrt 8，hugging face在bert上实现了1毫秒的推理延迟。我们十分期待能在今年晚些时候为我们的客户提供这一性能。”
全球领先的医疗技术、诊断和数字解决方案创新者ge医疗正在使用tensorrt，助力加速早期检测疾病的关键工具——超声波计算机视觉应用，使临床医生能够通过其智能医疗解决方案提供最高质量的护理。
ge医疗心血管超声首席工程师erik steen表示：“临床医生需要花费宝贵的时间来选择和评估超声图像。在vivid patient care elevated release项目的研发过程中，我们希望通过在vivid e95扫描仪上实施自动心脏视图检测，使这一过程变得更加高效。心脏视图识别算法将选择合适的图像来分析心壁运动。tensorrt凭借其实时推理能力，提高了视图检测算法的性能，同时缩短了我们研发项目的产品上市时间。”
可用性
tensorrt 8现已全面上市，并免费向nvidia开发者计划成员提供。用户还可从tensorrt github库中获得最新版本插件、解析器和样本的开放源代码。
浅谈医院能耗监控平台研究与应用
“缺芯”之痛，到底痛在哪里？
器大活好！ CS95大空间绝技戳中用户G点
资深pcb工程师的画板子经验分享
战甲披身，冲锋陷阵！Ayla艾拉物联助力昆明卫健委科技抗疫！
NVIDIA在推理方面取得突破，从云端到边缘实现更智能、更具互动性的对话式AI
苹果新iPhone也配备屏下指纹功能？
天猫一天顶全国门店一个月，小众香水欧珑在天猫赢得“大众”市场
物联网PaaS平台大盘点
沁恒（WCH）和RT-Thread达成合作，共建RISC-V应用生态
折叠屏智能手机的触控技术是否已真的成熟
基于MEMS技术的芯片ADXL202 的应用设计与集成
lcd1602液晶显示屏介绍_lcd1602引脚功能
Midtier PCB制造商的希望是什么
联发科天玑新一代5G基带M80，注定是明年旗舰SoC最强CP
深入探讨深度学习，尤其是非常擅长与理解图像的深度卷积神经网络
性能“狠角色”iQOO Neo3或将于4月23日发布
NI发布业界最高精度的PXI源测量单元 全新的低电流SMU提供了高达10 fA的电流灵敏度
新疆开展一般工商电价降价工作，此次降价有哪四大亮点？
荣耀30青春版成性价比首选，它的优势有哪些
加利福尼亚州圣克拉拉，太平洋时间2021年7月20日——nvidia于今日发布公司第八代ai软件tensorrt™ 8。该软件将语言查询推理时间缩短了一半，使开发者能够从云端到边缘构建全球最佳性能的搜索引擎、广告推荐和聊天机器人。
tensorrt 8的各项优化为语言应用带来了创纪录的速度，能够在1.2毫秒内运行bert-large——全球最广为采用的基于transformer的模型之一。过去，企业不得不缩减模型大小，而这会导致结果出现大幅偏差。现在有了tensorrt 8，企业可以将其模型扩大一倍或两倍，从而大幅提高精度。
nvidia开发者计划副总裁greg estes表示：“ai模型正以指数级的速度增长。全世界对ai实时应用的使用需求正在激增。这使企业必须部署最先进的推理解决方案。最新版本的tensorrt引入了多项新功能，使企业能够以前所未有的质量和响应速度向其客户提供对话式ai应用。”
五年来，医疗、汽车、金融和零售等各个领域27，500家企业的超35万名开发者下载tensorrt近250万次。tensorrt可部署于超大规模数据中心、嵌入式或汽车产品平台。
最新推理创新
除了针对transformer的优化之外，tensorrt 8还通过其他两项关键特性，实现了ai推理方面的突破。
其一是稀疏性，这是助力推动nvidia ampere架构gpu性能提升的一项全新技术，它不但提高了效率，还使开发者能够通过减少计算操作来加速其神经网络。
其二是量化感知训练，开发者能够使用训练好的模型，以int8精度运行推理，在这一过程中不会损失精度。这大大减少了计算和存储成本，从而在tensor core核心上实现高效推理。
广泛的行业支持
行业领导者已将tensorrt用于他们在对话式ai和其他各个领域的深度学习推理应用。
hugging face是开源ai技术的领导者，其客户包括全球多个行业领域的大规模ai服务提供商。该公司正与nvidia开展密切合作，推出能够助力实现大规模文本分析、神经搜索和对话式应用的开创性ai服务。
hugging face产品总监jeff boudier表示：“我们正在与nvidia开展密切合作，以基于nvidia gpu，为最先进的模型提供最佳性能。hugging face加速推理api已经能够为基于nvidia gpu的transformer模型提供高达100倍的速度提升。通过tensorrt 8，hugging face在bert上实现了1毫秒的推理延迟。我们十分期待能在今年晚些时候为我们的客户提供这一性能。”
全球领先的医疗技术、诊断和数字解决方案创新者ge医疗正在使用tensorrt，助力加速早期检测疾病的关键工具——超声波计算机视觉应用，使临床医生能够通过其智能医疗解决方案提供最高质量的护理。
ge医疗心血管超声首席工程师erik steen表示：“临床医生需要花费宝贵的时间来选择和评估超声图像。在vivid patient care elevated release项目的研发过程中，我们希望通过在vivid e95扫描仪上实施自动心脏视图检测，使这一过程变得更加高效。心脏视图识别算法将选择合适的图像来分析心壁运动。tensorrt凭借其实时推理能力，提高了视图检测算法的性能，同时缩短了我们研发项目的产品上市时间。”
可用性
tensorrt 8现已全面上市，并免费向nvidia开发者计划成员提供。用户还可从tensorrt github库中获得最新版本插件、解析器和样本的开放源代码。
浅谈医院能耗监控平台研究与应用
“缺芯”之痛，到底痛在哪里？
器大活好！ CS95大空间绝技戳中用户G点
资深pcb工程师的画板子经验分享
战甲披身，冲锋陷阵！Ayla艾拉物联助力昆明卫健委科技抗疫！
NVIDIA在推理方面取得突破，从云端到边缘实现更智能、更具互动性的对话式AI
苹果新iPhone也配备屏下指纹功能？
天猫一天顶全国门店一个月，小众香水欧珑在天猫赢得“大众”市场
物联网PaaS平台大盘点
沁恒（WCH）和RT-Thread达成合作，共建RISC-V应用生态
折叠屏智能手机的触控技术是否已真的成熟
基于MEMS技术的芯片ADXL202 的应用设计与集成
lcd1602液晶显示屏介绍_lcd1602引脚功能
Midtier PCB制造商的希望是什么
联发科天玑新一代5G基带M80，注定是明年旗舰SoC最强CP
深入探讨深度学习，尤其是非常擅长与理解图像的深度卷积神经网络
性能“狠角色”iQOO Neo3或将于4月23日发布
NI发布业界最高精度的PXI源测量单元 全新的低电流SMU提供了高达10 fA的电流灵敏度
新疆开展一般工商电价降价工作，此次降价有哪四大亮点？
荣耀30青春版成性价比首选，它的优势有哪些