通过NVIDIA ISAAC ROS传输改善ROS 2感知性能
自 2021 10 月以来， nvidia 和 open robotics 合作推出了两项重要的更改，现已发布在简陋的 ros 2 版本中，以提高提供硬件加速器的计算平台的性能。
新的 ros 2 简易硬件加速特性称为类型自适应和类型协商。 nvidia 将在下一次 nvidia isaac ros 发布（ 2022 年 6 月底）中发布一个实现类型自适应和类型协商的软件包。
这些简单但功能强大的框架添加将显著提高开发人员的性能，这些开发人员希望将人工智能/机器学习和计算机视觉功能纳入其基于 ros 的应用程序中。
open robotics 首席执行官布莱恩·格基（ brian gerkey ）表示：“随着 ros 开发人员向其机器人应用程序添加更多的自主权，机器人上的计算机正变得更加强大。我们一直在努力改进 ros 框架，以确保它能够利用这些边缘计算机中的高性能硬件资源。”。
“与 nvidia robotics 团队密切合作，我们很高兴在谦逊的版本中分享新功能（类型调整和协商），这将有助于整个 ros 社区努力接受硬件加速。”
消除硬件加速的开销
类型自适应
硬件加速器通常需要不同的数据格式来提供最佳性能。类型适配（ rep-2007 ）现在可用于 ros 节点以更适合硬件的格式工作。处理管道可以使用自适应类型消除 cpu 和内存加速器之间的内存拷贝。不必要的内存拷贝会消耗 cpu 计算、浪费电源并降低性能，尤其是随着图像大小的增加。
类型协商
另一个新的创新是类型协商（ rep-2009 ）。处理管道中的不同 ros 节点可以公布其支持的类型，以便选择产生理想性能的格式。 ros 框架执行此协商过程，并与不支持协商的遗留节点保持兼容性。
使用类型适配和协商加速处理管道使硬件加速器零拷贝成为可能。这减少了软件开销，并释放了底层硬件的潜力。随着机器人专家迁移到更强大的计算平台，如 nvidia jetson orin ，他们可以期望实现硬件带来的更多性能增益。
这些更改完全在 ros 2 内部完成，这确保了与现有工具、工作流和代码库的兼容性。
图 1 ：。比较有无类型调整和协商的硬件加速管道
类型适应和协商已显示出有希望的结果。在 ros 2 foxy 和 ros 2 humble 上运行了一个由 ros 节点图组成的基准测试，每个节点的计算量最小，因此我们可以观察底层框架的性能。我们在 jetson agx xavier 和新的 jetson agx orin 。我们观察到 xavier 提高了 3 倍， orin 提高了 7 倍。
图 2 ：。类型适应框架在 jetson agx xavier 和 jetson agx orin 上比较 ros 2 foxy 和 ros 2 humble 的基准性能
引入 nvidia isaac 用于 ros 运输
类型自适应和协商的 nvidia 实现称为 nitros 。这些是由 isaac ros 硬件加速模块（又称 gems ）组成的 ros 处理管道。这些管道将于 2022 年 6 月底在 isaac ros 开发商预览（ dp ）中提供。 nitros 的首次发布将包括三条管道，计划在今年晚些时候推出更多管道。
表 1 ：。 dp 释放中的 nitros 管道
强大的新型 gems 辅助机器人感知
除了 nitros 加速管道外， isaac ros dp 版本还包含两个新的基于 dnn 的 gem ，旨在帮助机器人专家完成常见的感知任务。
第一个 gem ess 是用于立体相机视差预测的 dnn 。 网络 为机器人应用提供基于视觉的连续深度感知。
另一个 gem ， bi3d ，是用于基于视觉的障碍预测的 dnn 。基于 nvidia research 的开创性工作，对 dnn 进行了改进，以检测自由空间，同时预测障碍物。该网络可预测障碍物是否位于立体摄像头的四个可编程邻近区域之一内。
bi3d 经过优化，可在 nvidia dla 硬件 上运行。利用 dla ，可以同时保留 gpu 和 cpu 计算资源。
bi3d 和 ess 都经过预训练，可用于使用 synthetic 和真实数据的机器人应用，并用于商业用途。这两款新的 isaac ros gem 加入了之前发布的经典计算机视觉立体深度视差例程 stereo \ u image \ u proc ，为立体相机深度感知提供三种不同的独立功能。
图 3 ：。比较合成相机图像（顶部）和无活动投影的 rgb 立体相机图像捕获的结果（底部）。从左到右：具有地面自由空间的四个邻近场的三维 dnn 预测； ess-dnn 连续深度预测；经典 cv 立体视差函数
表 2 ：。可用 ros gem 软件包
快速入门
有兴趣将 nvidia ai 感知集成到其产品中的 ros 开发人员应该从今天开始 isaac ros .
关于作者
gerard andrews 是专注于机器人开发社区的高级产品营销经理。在加入 nvidia 之前，gerard在cadence担任产品营销总监，负责许可处理器ip的产品规划、营销和业务开发。他拥有佐治亚理工学院电子工程硕士学位和南方卫理公会大学电子工程学士学位。
音频均衡器电路的工作原理解析
基于一种具有极低脱落电压LDO的白光LED恒流驱动芯片设计
小米Mi A2 Lite现已进入常规软件更新的最后一年
Linux中的管道和命名管道介绍
Lime Microsystems射频收发器芯片已被GWT通
通过NVIDIA ISAAC ROS传输改善ROS 2感知性能
运动编程示例：重复运动的循环功能
NVIDIA DRIVE Sim仿真平台中的神经重建引擎功能
爱立信将携手中国电信打造5G精品网络
如何创建及谐调支持多核的LabVIEW x86客户DLL
智慧城市建设推动了哪一些市场的增长
OPPO晒2018年会奖品：现金总额1076万，中奖率65％
恶劣环境下维护网络连接组件的方法
iPhone销量大减，这些日企被“坑”了
单相方波逆变电路的谐波控制
影响UV胶水粘接材料透光率大小的主要因素都有哪些
可再生能源系统中的SiC实现更高效，更小且更具成本效益的电力方案
优化了通信行业网络成本和性能的FBG色散管理技术
简易喊话器的工作原理及制作
Android有多成功？欧盟对谷歌的裁决刚好证明
新的 ros 2 简易硬件加速特性称为类型自适应和类型协商。 nvidia 将在下一次 nvidia isaac ros 发布（ 2022 年 6 月底）中发布一个实现类型自适应和类型协商的软件包。
这些简单但功能强大的框架添加将显著提高开发人员的性能，这些开发人员希望将人工智能/机器学习和计算机视觉功能纳入其基于 ros 的应用程序中。
open robotics 首席执行官布莱恩·格基（ brian gerkey ）表示：“随着 ros 开发人员向其机器人应用程序添加更多的自主权，机器人上的计算机正变得更加强大。我们一直在努力改进 ros 框架，以确保它能够利用这些边缘计算机中的高性能硬件资源。”。
“与 nvidia robotics 团队密切合作，我们很高兴在谦逊的版本中分享新功能（类型调整和协商），这将有助于整个 ros 社区努力接受硬件加速。”
消除硬件加速的开销
类型自适应
硬件加速器通常需要不同的数据格式来提供最佳性能。类型适配（ rep-2007 ）现在可用于 ros 节点以更适合硬件的格式工作。处理管道可以使用自适应类型消除 cpu 和内存加速器之间的内存拷贝。不必要的内存拷贝会消耗 cpu 计算、浪费电源并降低性能，尤其是随着图像大小的增加。
类型协商
另一个新的创新是类型协商（ rep-2009 ）。处理管道中的不同 ros 节点可以公布其支持的类型，以便选择产生理想性能的格式。 ros 框架执行此协商过程，并与不支持协商的遗留节点保持兼容性。
使用类型适配和协商加速处理管道使硬件加速器零拷贝成为可能。这减少了软件开销，并释放了底层硬件的潜力。随着机器人专家迁移到更强大的计算平台，如 nvidia jetson orin ，他们可以期望实现硬件带来的更多性能增益。
这些更改完全在 ros 2 内部完成，这确保了与现有工具、工作流和代码库的兼容性。
图 1 ：。比较有无类型调整和协商的硬件加速管道
类型适应和协商已显示出有希望的结果。在 ros 2 foxy 和 ros 2 humble 上运行了一个由 ros 节点图组成的基准测试，每个节点的计算量最小，因此我们可以观察底层框架的性能。我们在 jetson agx xavier 和新的 jetson agx orin 。我们观察到 xavier 提高了 3 倍， orin 提高了 7 倍。
图 2 ：。类型适应框架在 jetson agx xavier 和 jetson agx orin 上比较 ros 2 foxy 和 ros 2 humble 的基准性能
引入 nvidia isaac 用于 ros 运输
类型自适应和协商的 nvidia 实现称为 nitros 。这些是由 isaac ros 硬件加速模块（又称 gems ）组成的 ros 处理管道。这些管道将于 2022 年 6 月底在 isaac ros 开发商预览（ dp ）中提供。 nitros 的首次发布将包括三条管道，计划在今年晚些时候推出更多管道。
表 1 ：。 dp 释放中的 nitros 管道
强大的新型 gems 辅助机器人感知
除了 nitros 加速管道外， isaac ros dp 版本还包含两个新的基于 dnn 的 gem ，旨在帮助机器人专家完成常见的感知任务。
第一个 gem ess 是用于立体相机视差预测的 dnn 。 网络 为机器人应用提供基于视觉的连续深度感知。
另一个 gem ， bi3d ，是用于基于视觉的障碍预测的 dnn 。基于 nvidia research 的开创性工作，对 dnn 进行了改进，以检测自由空间，同时预测障碍物。该网络可预测障碍物是否位于立体摄像头的四个可编程邻近区域之一内。
bi3d 经过优化，可在 nvidia dla 硬件 上运行。利用 dla ，可以同时保留 gpu 和 cpu 计算资源。
bi3d 和 ess 都经过预训练，可用于使用 synthetic 和真实数据的机器人应用，并用于商业用途。这两款新的 isaac ros gem 加入了之前发布的经典计算机视觉立体深度视差例程 stereo \ u image \ u proc ，为立体相机深度感知提供三种不同的独立功能。
图 3 ：。比较合成相机图像（顶部）和无活动投影的 rgb 立体相机图像捕获的结果（底部）。从左到右：具有地面自由空间的四个邻近场的三维 dnn 预测； ess-dnn 连续深度预测；经典 cv 立体视差函数
表 2 ：。可用 ros gem 软件包
快速入门
有兴趣将 nvidia ai 感知集成到其产品中的 ros 开发人员应该从今天开始 isaac ros .
关于作者
gerard andrews 是专注于机器人开发社区的高级产品营销经理。在加入 nvidia 之前，gerard在cadence担任产品营销总监，负责许可处理器ip的产品规划、营销和业务开发。他拥有佐治亚理工学院电子工程硕士学位和南方卫理公会大学电子工程学士学位。
音频均衡器电路的工作原理解析
基于一种具有极低脱落电压LDO的白光LED恒流驱动芯片设计
小米Mi A2 Lite现已进入常规软件更新的最后一年
Linux中的管道和命名管道介绍
Lime Microsystems射频收发器芯片已被GWT通
通过NVIDIA ISAAC ROS传输改善ROS 2感知性能
运动编程示例：重复运动的循环功能
NVIDIA DRIVE Sim仿真平台中的神经重建引擎功能
爱立信将携手中国电信打造5G精品网络
如何创建及谐调支持多核的LabVIEW x86客户DLL
智慧城市建设推动了哪一些市场的增长
OPPO晒2018年会奖品：现金总额1076万，中奖率65％
恶劣环境下维护网络连接组件的方法
iPhone销量大减，这些日企被“坑”了
单相方波逆变电路的谐波控制
影响UV胶水粘接材料透光率大小的主要因素都有哪些
可再生能源系统中的SiC实现更高效，更小且更具成本效益的电力方案
优化了通信行业网络成本和性能的FBG色散管理技术
简易喊话器的工作原理及制作
Android有多成功？欧盟对谷歌的裁决刚好证明