机器人终于有了能够抓东西的手
借助 nvidia omniverse 和 isaac sim，机器人终于有了能够抓东西的手。
在过去几年中，开发者一直在努力克服机器人抓取能力上的不足，使其能够应用于这个市值数十亿美元的产业。如果机器人能够安全抓取和转移传送带上快速移动的物品，那么它们在这些企业中的前景将非常广阔。
马萨诸塞州贝德福德市的初创企业 soft robotics 正在使用 nvidia isaac sim 帮助机器人抓取应用缩小在模拟环境与现实环境中的差距，其中的一个领域是完善待包装食品的捡取和放置。
食品包装和加工企业正在使用这家初创企业的 mgripai 系统。这套系统结合了软性抓取与 3d 视觉和人工智能（ai）技术，能够在不破坏食品的情况下抓取蛋白质、农产品、烘焙食品等脆弱的食品。
soft robotics 软件工程高级总监 david weatherwax 表示：“我们销售的是抓取解决方案中的‘手’、‘眼’和‘大脑’。”
soft robotics 表示，不同于其他已经采用机器人技术的行业，市值 8 万亿美元的食品市场在开发用于处理非结构化环境中的不同物品的机器人方面一直进展缓慢。
该公司成立于 2013 年，最近从 tyson ventures、marel 和 johnsonville ventures 获得了 2600 万美元的 c 轮融资。
tyson foods、johnsonville 等企业正在投资于机器人自动化技术来帮助提高其工厂的安全性和产量。这两家公司都依赖 soft robotics 的技术。
使用合成数据训练抓取
soft robotics 为公司的每个抓取应用开发了单独的模型，每个模型都需要特定的数据集。对一堆湿滑的鸡肉和其他食物进行拣选是一个非常棘手的挑战。
通过 nvidia omniverse 和 isaac sim，该公司可以为不同背景下的鸡肉部位创建 3d 渲染图，比如传送带上、箱子中以及各种照明场景中。
该公司使用 isaac replicator 开发合成数据，为每个模型生成数十万张图像并分发到云端的各种实例中。isaac replicator 是一套使用 isaac sim 生成合成数据的工具、api 和工作流程。
它还能运行姿势估计模型，帮助抓取系统看到待抓取物品的角度。
凭借现场的 nvidia gpu，soft robotics 能够使用这些食品加工厂每个应用所特有的模型在瞬间进行推理。同时，通过 isaac sim 中的模拟和训练功能，加工厂还可以使用 nvidia gpu 扩大工作的规模。
weatherwax 表示：“我们目前的设置全部是合成的，所以能够快速部署新的应用。我们把宝都压在了 omniverse 和 isaac sim 上，并且效果非常好。”
解决遮挡和照明问题
为了了解不同鸡肉块在被倒成一堆时的堆叠和重叠方式，soft robotics 需要解决遮挡这个重大难题。weatherwax 表示：“这些鸡肉堆的形成方式可能相当复杂。”
湿鸡肉上的反光可能会使检测模型失效。“我们需要解决的另一个重大难题是照明，所以 nvidia rtx 驱动的光线追踪十分重要。”
但真正重要的是为所有物品构建 3d 模型并在一瞬间找出堆中的哪件物品受阻最小，最容易被机器人抓手抓取和放置。
omniverse 通过构建符合物理学的合成数据集使 soft robotics 能够创造出这样的环境。我们需要克服的一大挑战是这些形状各异的物体的堆积方式。
提高产线的抓取准确率
食品加工厂产线上的移动速度很快，但部署了特定应用模型的机器人每分钟可进行多达 100 次抓取。
这种机器人目前仍在开发中，而这项工作的成败取决于对物品堆的准确表述，同时训练数据集需要涵盖物品落入堆中的所有可能方式。
这个数据集是为了训练机器人知道在一个复杂、不断变化的环境中如何进行最佳的抓取。如果食品从传送带上掉下来或因其他原因而损坏，那就会造成浪费，直接影响到产量。
推动产量增长
肉类包装公司在产线上加工鸡肉。但与许多其他行业一样，他们也面临着员工短缺问题。weatherwax 表示，一些正在建设新食品加工厂的企业甚至无法在刚开始生产时吸引到足够的工人。
“这些企业遇到了很多人手方面的问题，这推动了自动化的趋势。”
omniverse 驱动的工作使食品加工企业的模拟能力提升了 10 倍以上，将 ai 抓取系统的部署时间从几个月缩短到几天。
这使 soft robotics 的客户不但能够部署自动化鸡肉抓取线，还能够应对冲击许多行业的人手问题，尤其是受伤和健康风险较高的行业。
weatherwax 表示：“机器人更适合处理生鸡肉”。
如何定制一款符合你要求的显示屏驱动板？
!销售/收购/维修HP4278A电桥HP 4278A!小兵/
机器视觉照明的三个核心
京东方或将成为iPhone 13机型OLED面板主要供应商
2009年巴西国际汽车配件、设备及服务贸易博览会
机器人终于有了能够抓东西的手
正弦波、矩形波发生器电路图
真无线蓝牙耳机哪个好、目前音质最好的真无线蓝牙耳机
明年LG智能电视配备新一代运动图像增强技术
浅析机器视觉系统的图像处理技术应用
华为攻坚芯片解决方案 发布两款5G芯片
ACM8625/ACM8628/ACM8622 I2S输入内置DSP数字功放IC系列助推音频产品升级迭代
云光融合品质专线是保障五星云网体验最佳方案
zookeeper集群主要有哪三种角色
拓维信息与世界计算大会：鲲鹏展翅五年，“湘”约新征程！
关于字符串硬核讲解
捷豹路虎正投入资金研发自动驾驶汽车技术
两块不同电流的太阳能电池板可以串联成12V吗
cpu的时钟信号由什么提供？
“芯”诚所至丨芯盾时代入选2023年全国企业诚信建设实践优秀案例
在过去几年中，开发者一直在努力克服机器人抓取能力上的不足，使其能够应用于这个市值数十亿美元的产业。如果机器人能够安全抓取和转移传送带上快速移动的物品，那么它们在这些企业中的前景将非常广阔。
马萨诸塞州贝德福德市的初创企业 soft robotics 正在使用 nvidia isaac sim 帮助机器人抓取应用缩小在模拟环境与现实环境中的差距，其中的一个领域是完善待包装食品的捡取和放置。
食品包装和加工企业正在使用这家初创企业的 mgripai 系统。这套系统结合了软性抓取与 3d 视觉和人工智能（ai）技术，能够在不破坏食品的情况下抓取蛋白质、农产品、烘焙食品等脆弱的食品。
soft robotics 软件工程高级总监 david weatherwax 表示：“我们销售的是抓取解决方案中的‘手’、‘眼’和‘大脑’。”
soft robotics 表示，不同于其他已经采用机器人技术的行业，市值 8 万亿美元的食品市场在开发用于处理非结构化环境中的不同物品的机器人方面一直进展缓慢。
该公司成立于 2013 年，最近从 tyson ventures、marel 和 johnsonville ventures 获得了 2600 万美元的 c 轮融资。
tyson foods、johnsonville 等企业正在投资于机器人自动化技术来帮助提高其工厂的安全性和产量。这两家公司都依赖 soft robotics 的技术。
使用合成数据训练抓取
soft robotics 为公司的每个抓取应用开发了单独的模型，每个模型都需要特定的数据集。对一堆湿滑的鸡肉和其他食物进行拣选是一个非常棘手的挑战。
通过 nvidia omniverse 和 isaac sim，该公司可以为不同背景下的鸡肉部位创建 3d 渲染图，比如传送带上、箱子中以及各种照明场景中。
该公司使用 isaac replicator 开发合成数据，为每个模型生成数十万张图像并分发到云端的各种实例中。isaac replicator 是一套使用 isaac sim 生成合成数据的工具、api 和工作流程。
它还能运行姿势估计模型，帮助抓取系统看到待抓取物品的角度。
凭借现场的 nvidia gpu，soft robotics 能够使用这些食品加工厂每个应用所特有的模型在瞬间进行推理。同时，通过 isaac sim 中的模拟和训练功能，加工厂还可以使用 nvidia gpu 扩大工作的规模。
weatherwax 表示：“我们目前的设置全部是合成的，所以能够快速部署新的应用。我们把宝都压在了 omniverse 和 isaac sim 上，并且效果非常好。”
解决遮挡和照明问题
为了了解不同鸡肉块在被倒成一堆时的堆叠和重叠方式，soft robotics 需要解决遮挡这个重大难题。weatherwax 表示：“这些鸡肉堆的形成方式可能相当复杂。”
湿鸡肉上的反光可能会使检测模型失效。“我们需要解决的另一个重大难题是照明，所以 nvidia rtx 驱动的光线追踪十分重要。”
但真正重要的是为所有物品构建 3d 模型并在一瞬间找出堆中的哪件物品受阻最小，最容易被机器人抓手抓取和放置。
omniverse 通过构建符合物理学的合成数据集使 soft robotics 能够创造出这样的环境。我们需要克服的一大挑战是这些形状各异的物体的堆积方式。
提高产线的抓取准确率
食品加工厂产线上的移动速度很快，但部署了特定应用模型的机器人每分钟可进行多达 100 次抓取。
这种机器人目前仍在开发中，而这项工作的成败取决于对物品堆的准确表述，同时训练数据集需要涵盖物品落入堆中的所有可能方式。
这个数据集是为了训练机器人知道在一个复杂、不断变化的环境中如何进行最佳的抓取。如果食品从传送带上掉下来或因其他原因而损坏，那就会造成浪费，直接影响到产量。
推动产量增长
肉类包装公司在产线上加工鸡肉。但与许多其他行业一样，他们也面临着员工短缺问题。weatherwax 表示，一些正在建设新食品加工厂的企业甚至无法在刚开始生产时吸引到足够的工人。
“这些企业遇到了很多人手方面的问题，这推动了自动化的趋势。”
omniverse 驱动的工作使食品加工企业的模拟能力提升了 10 倍以上，将 ai 抓取系统的部署时间从几个月缩短到几天。
这使 soft robotics 的客户不但能够部署自动化鸡肉抓取线，还能够应对冲击许多行业的人手问题，尤其是受伤和健康风险较高的行业。
weatherwax 表示：“机器人更适合处理生鸡肉”。
如何定制一款符合你要求的显示屏驱动板？
!销售/收购/维修HP4278A电桥HP 4278A!小兵/
机器视觉照明的三个核心
京东方或将成为iPhone 13机型OLED面板主要供应商
2009年巴西国际汽车配件、设备及服务贸易博览会
机器人终于有了能够抓东西的手
正弦波、矩形波发生器电路图
真无线蓝牙耳机哪个好、目前音质最好的真无线蓝牙耳机
明年LG智能电视配备新一代运动图像增强技术
浅析机器视觉系统的图像处理技术应用
华为攻坚芯片解决方案 发布两款5G芯片
ACM8625/ACM8628/ACM8622 I2S输入内置DSP数字功放IC系列助推音频产品升级迭代
云光融合品质专线是保障五星云网体验最佳方案
zookeeper集群主要有哪三种角色
拓维信息与世界计算大会：鲲鹏展翅五年，“湘”约新征程！
关于字符串硬核讲解
捷豹路虎正投入资金研发自动驾驶汽车技术
两块不同电流的太阳能电池板可以串联成12V吗
cpu的时钟信号由什么提供？
“芯”诚所至丨芯盾时代入选2023年全国企业诚信建设实践优秀案例