NVIDIA 机器人仿真开发平台的特点
智能机器人的研发往往需要掌握许多领域的专业知识，这对于 ai 初学者和初创公司来说，具有极高的技术门槛。
“isaac 提供了一个机器人开发、训练和测试的集合，大大降低了机器人的开发难度，降低了研发的技术门槛。” 这是知乎大咖机器人孔博士（知乎粉丝 10 万+，机器人领域科技创新和应用者）对于 isaac 的见解与评价。本期文章我们将分享机器人孔博士的深度文章《如何快速地让机器人变得更智能，更聪明？》。
为什么智能机器人的研发门槛高？
因为研发一款智能机器人需要掌握机械和电子硬件、驱动程序、各种传感器、规划算法、计算机视觉、人工智能（包括深度学习、机器学习、人工神经网络等）多个领域的专业知识。这对于初学者和初创公司具有极高的技术门槛。
最近，我发现了一款好产品，大大降低了机器人研发门槛。
它是 nvidia 开发的一款智能机器人开发平台 isaac，还有 replicator 合成数据生成引擎——面向机器人、用于 isaac sim 的 isaac sim replicator。
首先，为了方便大家理解，先解释一下这些概念都是什么。
nvidia：世界著名的人工智能公司 nvidia 英伟达，创始人是江湖人送绰号黄教主的黄仁勋。
omniverse：英文字面意思 “全能宇宙”。它是 nvidia 开发的一款支撑元宇宙技术的技术开发平台，适用于 3d 设计协作和模拟。
replicator：英文字面意思 “复制程序”，在虚拟世界中训练数据，生成模型以后，可以快速移植到现实世界的物理单元上，例如机器人大脑上。它是一个先驱架构，能够实现物理上准确的 3d 合成数据生成，加速感知网络的训练，并提高模型的准确性。
isaac：nvidia 开发的一款智能机器人开发平台。这个平台提供了一个机器人开发、训练和测试的集合，大大降低了机器人的开发难度，降低了研发的技术门槛。
isaac sim：由 omniverse 提供底层支持，是一种可扩展的机器人仿真应用程序和合成数据生成工具，可支持逼真、物理精确的虚拟环境，用来开发、测试和管理基于 ai 的智能机器人。
isaac simreplicator：一个建立在可扩展的 omniverse 平台上的高度可扩展 sdk，它可以生成物理级精确的 3d 合成数据来加速 ai 感知网络的训练和性能。开发者、研究人员和工程师现在可以使用 isaac sim replicator 生成的大规模逼真合成数据来引导和提高现有深度学习感知模型的性能。
其次，介绍一下 nvidia 机器人仿真开发平台的特点。
（1）逼真的模拟
isaac sim 借助 omniverse 平台的强大模拟技术，包括使用 physx 5 支持 gpu 的高级物理模拟、实时光线和路径跟踪的真实感，以及基于物理渲染的 mdl 材质定义支持。
（2）模块化架构包含了最常用的应用程序
isaac sim 解决了最常见的机器人用例，包括操作、导航、训练数据的合成数据生成，例如模拟机器人动力学测试控制算法，模拟机器人传感器生成真实感相机、深度和分割图像、激光雷达、imu，模拟不同的环境和场景，在不同的条件和环境下测试算法，模拟代理，机器人周围提供有趣动态环境的人类演员，将域随机化，以创建具有随机变化的对象和环境属性的巨大多样的训练集。此外，由于其模块化设计，该工具可以定制并扩展到许多新的用例。
（3）无缝连接和互操作性
isaac sim 支持协作构建、共享和导入环境和机器人模型。通过isaac sdk 和 ros/ros2 接口、功能齐全的python 脚本、用于导入机器人和环境模型的插件，轻松将机器人的大脑连接到虚拟世界。
最后，以一个智能服务机器人的研发案例，讲一下 isaac sim replicator 的作用。
以往智能机器人开发，通常是先购置一款芯片与开发板，然后安装开源的机器人操作系统 ros，根据场景添加各类传感器，再进行适配驱动调优，最后选择相应算法，很明显整个研发过程非常复杂，需要掌握很多专业知识，并且多人协作，技术门槛很高。
图 3 是一款智能服务机器人的构成。这款机器人技术含量特别高，其中有一项核心技术叫 vslam 即 visual simultaneous localizationand mapping，主要是指用视觉图像对机器人进行定位、地图构建和导航（再配合一个惯性传感器）。
图 3 中的左眼和右眼是一对摄像头，这种配置叫双目视觉。我们要做的，就是根据一张张连续运动的图像，从中推断机器人的运动以及周围环境的情况。
为了训练这款机器人在室内行走，我们做了大量的标定工作，把整个办公室和走廊都贴满了标定符号。
为了训练一个用于感知任务的深度神经网络 dnn，通常需要从数百万图像中手动采集数据，然后，对这些数据进行手动注释和有选择性的增强。
人工数据采集和注释是一项费力而主观的任务。在采集和注释真实图像的过程中，即便只是像大规模 2d bounding box 这样的简单注释也会带来许多人力协调方面的挑战。分割等所涉及到的注释存在资源限制，并且手动执行此类任务时的准确性要差得多。
在采集和注释完毕后，数据将被转换成 dnn 可用的格式，然后训练用于感知任务的 dnn。一般情况下，接下来会通过超参数调节或改变网络结构来优化网络性能。在对模型性能进行分析时，可能会导致数据集发生变化，在大多数情况下，还需要进行一轮手动数据采集和注释，这种人工数据采集和注释的迭代循环成本高，并且非常缓慢。
利用 isaac sim replicator 可以把训练感知模型的任务直接放到虚拟环境中完成。isaac simreplicator 是一个建立在可扩展的 omniverse 平台上的高度可扩展 sdk，它可以生成物理级精确的 3d 合成数据来加速 ai 感知网络的训练和性能。开发者、研究人员和工程师现在可以使用 isaac simreplicator 生成的大规模逼真合成数据来引导和提高现有深度学习感知模型的性能。
nvidia isaac 机器人平台现可轻松集成至机器人操作系统 ros 中。ros 是常用的开源机器人操作系统，也是机器人的大脑，这款软件平台应用广泛，具有大量成熟的软件库和工具。
为了加快机器人的部署，可以采用 nvidia isaac gems。它是 nvidia 为 ros2 应用程序提供的一套 gpu 加速包，大大提高了图像处理和基于 dnn 的感知模型的吞吐量。
nvidia isaac gems 的能力是非常强大的。nvidia isaacgems 中自带了 vslam 算法，大大节省了机器人工程师的开发工作量。
它还包含了用于立体相机视差预测的 dnn--- gem ess，为机器人应用提供基于视觉的连续深度感知；用于基于视觉的障碍预测的 dnn--- gem bi3d，以检测自由空间，同时预测障碍物。
总之，正如 nvidia 系统软件总监 nathan ratliff 在最近的 gtc 演讲中所说：“我们的目标是让具有任务意识的机器人的编程，变得像游戏 ai 编程那样简单。” 这无疑大大降低了智能机器人开发的技术门槛，并可以让机器人快速地变得更加聪明。
国产机器人产能还会继续扩大 产能增长速度大于需求扩展速度
高光谱成像仪的成像技术原理
使用电容器降低噪声：去耦电容的有效使用方法 要点1
过载也一定过电流，变频器为什么要把过电流和过载分开呢？
雷达系统传输和接收的损耗
NVIDIA 机器人仿真开发平台的特点
简单实用的试验用硬水软化电路
光伏电站入网注意事项—变压器
工业4.0牵手物流4.0 2018年汉诺威工业博览看点预告
面对这样的三星Note10，你能忍住不心动吗？
华为EMUI5.0必开的三个开关！你还没开？
水质毒性测定仪的原理及特点说明
西部数据新推存储设备和软件架构
影响光伏发电量的因素盘点
苹果系列产品全新原封报价，iphone/iPad/Mac全新报价，iphone8曝光！
4G路由器：让网络连接更加便捷
“核心技术”到底是什么？我们到底在什么位置？
联发科Helio x30为适应越来越多的VR产品需求
华为麦芒6评测 全面屏配前后双摄特点明显实力不俗
Linux基础知识中的文件操作
“isaac 提供了一个机器人开发、训练和测试的集合，大大降低了机器人的开发难度，降低了研发的技术门槛。” 这是知乎大咖机器人孔博士（知乎粉丝 10 万+，机器人领域科技创新和应用者）对于 isaac 的见解与评价。本期文章我们将分享机器人孔博士的深度文章《如何快速地让机器人变得更智能，更聪明？》。
为什么智能机器人的研发门槛高？
因为研发一款智能机器人需要掌握机械和电子硬件、驱动程序、各种传感器、规划算法、计算机视觉、人工智能（包括深度学习、机器学习、人工神经网络等）多个领域的专业知识。这对于初学者和初创公司具有极高的技术门槛。
最近，我发现了一款好产品，大大降低了机器人研发门槛。
它是 nvidia 开发的一款智能机器人开发平台 isaac，还有 replicator 合成数据生成引擎——面向机器人、用于 isaac sim 的 isaac sim replicator。
首先，为了方便大家理解，先解释一下这些概念都是什么。
nvidia：世界著名的人工智能公司 nvidia 英伟达，创始人是江湖人送绰号黄教主的黄仁勋。
omniverse：英文字面意思 “全能宇宙”。它是 nvidia 开发的一款支撑元宇宙技术的技术开发平台，适用于 3d 设计协作和模拟。
replicator：英文字面意思 “复制程序”，在虚拟世界中训练数据，生成模型以后，可以快速移植到现实世界的物理单元上，例如机器人大脑上。它是一个先驱架构，能够实现物理上准确的 3d 合成数据生成，加速感知网络的训练，并提高模型的准确性。
isaac：nvidia 开发的一款智能机器人开发平台。这个平台提供了一个机器人开发、训练和测试的集合，大大降低了机器人的开发难度，降低了研发的技术门槛。
isaac sim：由 omniverse 提供底层支持，是一种可扩展的机器人仿真应用程序和合成数据生成工具，可支持逼真、物理精确的虚拟环境，用来开发、测试和管理基于 ai 的智能机器人。
isaac simreplicator：一个建立在可扩展的 omniverse 平台上的高度可扩展 sdk，它可以生成物理级精确的 3d 合成数据来加速 ai 感知网络的训练和性能。开发者、研究人员和工程师现在可以使用 isaac sim replicator 生成的大规模逼真合成数据来引导和提高现有深度学习感知模型的性能。
其次，介绍一下 nvidia 机器人仿真开发平台的特点。
（1）逼真的模拟
isaac sim 借助 omniverse 平台的强大模拟技术，包括使用 physx 5 支持 gpu 的高级物理模拟、实时光线和路径跟踪的真实感，以及基于物理渲染的 mdl 材质定义支持。
（2）模块化架构包含了最常用的应用程序
isaac sim 解决了最常见的机器人用例，包括操作、导航、训练数据的合成数据生成，例如模拟机器人动力学测试控制算法，模拟机器人传感器生成真实感相机、深度和分割图像、激光雷达、imu，模拟不同的环境和场景，在不同的条件和环境下测试算法，模拟代理，机器人周围提供有趣动态环境的人类演员，将域随机化，以创建具有随机变化的对象和环境属性的巨大多样的训练集。此外，由于其模块化设计，该工具可以定制并扩展到许多新的用例。
（3）无缝连接和互操作性
isaac sim 支持协作构建、共享和导入环境和机器人模型。通过isaac sdk 和 ros/ros2 接口、功能齐全的python 脚本、用于导入机器人和环境模型的插件，轻松将机器人的大脑连接到虚拟世界。
最后，以一个智能服务机器人的研发案例，讲一下 isaac sim replicator 的作用。
以往智能机器人开发，通常是先购置一款芯片与开发板，然后安装开源的机器人操作系统 ros，根据场景添加各类传感器，再进行适配驱动调优，最后选择相应算法，很明显整个研发过程非常复杂，需要掌握很多专业知识，并且多人协作，技术门槛很高。
图 3 是一款智能服务机器人的构成。这款机器人技术含量特别高，其中有一项核心技术叫 vslam 即 visual simultaneous localizationand mapping，主要是指用视觉图像对机器人进行定位、地图构建和导航（再配合一个惯性传感器）。
图 3 中的左眼和右眼是一对摄像头，这种配置叫双目视觉。我们要做的，就是根据一张张连续运动的图像，从中推断机器人的运动以及周围环境的情况。
为了训练这款机器人在室内行走，我们做了大量的标定工作，把整个办公室和走廊都贴满了标定符号。
为了训练一个用于感知任务的深度神经网络 dnn，通常需要从数百万图像中手动采集数据，然后，对这些数据进行手动注释和有选择性的增强。
人工数据采集和注释是一项费力而主观的任务。在采集和注释真实图像的过程中，即便只是像大规模 2d bounding box 这样的简单注释也会带来许多人力协调方面的挑战。分割等所涉及到的注释存在资源限制，并且手动执行此类任务时的准确性要差得多。
在采集和注释完毕后，数据将被转换成 dnn 可用的格式，然后训练用于感知任务的 dnn。一般情况下，接下来会通过超参数调节或改变网络结构来优化网络性能。在对模型性能进行分析时，可能会导致数据集发生变化，在大多数情况下，还需要进行一轮手动数据采集和注释，这种人工数据采集和注释的迭代循环成本高，并且非常缓慢。
利用 isaac sim replicator 可以把训练感知模型的任务直接放到虚拟环境中完成。isaac simreplicator 是一个建立在可扩展的 omniverse 平台上的高度可扩展 sdk，它可以生成物理级精确的 3d 合成数据来加速 ai 感知网络的训练和性能。开发者、研究人员和工程师现在可以使用 isaac simreplicator 生成的大规模逼真合成数据来引导和提高现有深度学习感知模型的性能。
nvidia isaac 机器人平台现可轻松集成至机器人操作系统 ros 中。ros 是常用的开源机器人操作系统，也是机器人的大脑，这款软件平台应用广泛，具有大量成熟的软件库和工具。
为了加快机器人的部署，可以采用 nvidia isaac gems。它是 nvidia 为 ros2 应用程序提供的一套 gpu 加速包，大大提高了图像处理和基于 dnn 的感知模型的吞吐量。
nvidia isaac gems 的能力是非常强大的。nvidia isaacgems 中自带了 vslam 算法，大大节省了机器人工程师的开发工作量。
它还包含了用于立体相机视差预测的 dnn--- gem ess，为机器人应用提供基于视觉的连续深度感知；用于基于视觉的障碍预测的 dnn--- gem bi3d，以检测自由空间，同时预测障碍物。
总之，正如 nvidia 系统软件总监 nathan ratliff 在最近的 gtc 演讲中所说：“我们的目标是让具有任务意识的机器人的编程，变得像游戏 ai 编程那样简单。” 这无疑大大降低了智能机器人开发的技术门槛，并可以让机器人快速地变得更加聪明。
国产机器人产能还会继续扩大 产能增长速度大于需求扩展速度
高光谱成像仪的成像技术原理
使用电容器降低噪声：去耦电容的有效使用方法 要点1
过载也一定过电流，变频器为什么要把过电流和过载分开呢？
雷达系统传输和接收的损耗
NVIDIA 机器人仿真开发平台的特点
简单实用的试验用硬水软化电路
光伏电站入网注意事项—变压器
工业4.0牵手物流4.0 2018年汉诺威工业博览看点预告
面对这样的三星Note10，你能忍住不心动吗？
华为EMUI5.0必开的三个开关！你还没开？
水质毒性测定仪的原理及特点说明
西部数据新推存储设备和软件架构
影响光伏发电量的因素盘点
苹果系列产品全新原封报价，iphone/iPad/Mac全新报价，iphone8曝光！
4G路由器：让网络连接更加便捷
“核心技术”到底是什么？我们到底在什么位置？
联发科Helio x30为适应越来越多的VR产品需求
华为麦芒6评测 全面屏配前后双摄特点明显实力不俗
Linux基础知识中的文件操作