全新isaac模拟引擎不但能够创造更逼真的环境,而且还能简化合成数据生成和域随机化,从而建立真值数据集来训练用于物流、仓库、未来工厂等的各种机器人。
omniverse是nvidia模拟器的根本基础,包括加入了多项新功能的isaac平台。nvidia isaac sim目前已发布公测版,您可以通过该平台探索更高级的机器人模拟功能。
isaac sim基于nvidia omniverse平台而构建,它是一个机器人模拟应用与合成数据生成工具。机器人专家可使用它更高效地训练和测试机器人,模拟机器人与指定环境的真实互动,而且这些环境可以超越现实世界。
isaac sim的发布还增加了经过改进的多摄像头支持功能、传感器功能以及一个ptc onshape cad导入器,让3d素材的导入变得更加轻松。从实体机器人的设计和开发、机器人的训练,到在“数字孪生”中的部署(数字孪生是一种精确、逼真的机器人模拟和测试虚拟环境),这些新功能将全方位地扩大可以建模和部署的机器人和环境范围。
主要新功能
●支持多摄像头
●带合成数据的鱼眼相机
●支持ros2
●ptc onshape导入器
●经过改进的传感器支持
超声波传感器 力传感器 自定义激光雷达模式 ●可从nvidia omniverse launcher中下载
isaac sim可以将多摄像头传感器数据发送到rviz(ros可视化工具)
在isaac sim中控制dofbot操作机器人
isaac sim实现了更多的机器人模拟
开发者早已明白强大的模拟环境对机器人测试和训练的益处,但此类模拟器往往存在着限制其使用的缺点。isaac sim通过以下优势来弥补这些缺点。
逼真的模拟
为了提供逼真的机器人模拟,isaac sim运用了omniverse平台的强大技术:使用physx 5进行高级gpu物理模拟、借助实时光线追踪和路径追踪实现高逼真度,以及支持物理渲染的材质定义语言(material definition language ,mdl)。
模块化设计与丰富的应用
isaac sim专为解决许多最常见的机器人用例而创建,包括操控、自主导航和用于训练数据的合成数据生成。其模块化设计能够让用户轻松自定义和扩展工具集,以适应多种应用和环境。
无缝连接和互操作性
借助nvidia omniverse,isaac sim可以使用omniverse nucleus和omniverse connectors在通用场景描述(usd)中合作构建、分享、导入环境模型与机器人模型。通过ros/ros2接口或功能齐全的python脚本,以及用于导入机器人模型和环境模型的插件,可以轻松地让机器人的大脑与虚拟世界相连。
isaac sim的合成数据生成助力实现机器学习
合成数据生成是一个重要的工具,它正在被越来越多地用于训练当今机器人的感知模型。获取真实世界的、正确标记的数据是一项耗时且成本高昂的工作。 但就机器人技术而言,在现实世界中收集某些所需的训练数据可能太困难或太危险。 对于必须靠近人类工作的机器人来说尤其如此。
isaac sim 内置了对训练感知模型很重要的各种传感器类型的支持。这些传感器包括 rgb、深度、边界框和分割。
玻璃物体的真值合成数据
在公测版中,我们能够输出kitti格式的合成数据。这些数据可以直接用于nvidia迁移学习工具包,以使用特定用例数据提高模型性能。
域随机化
域随机化能够对定义模拟场景的参数进行更改,如场景中的照明、颜色和材质纹理等。域随机化的主要目标之一,便是通过将神经网络暴露在所模拟的各种域参数中,来加强机器学习(machine learning ,ml)模型的训练。这有助于模型在真实世界场景中实现有效的泛化。实际上,这项技术能够教会模型忽略不重要的内容。
工厂场景的域随机化
isaac sim能够对定义一个特定场景的多个不同属性进行随机化。借助这些功能,机器学习工程师可以确保合成数据集包含足够的多样性来驱动稳健的模型性能。
在isaac sim公测版中,我们通过允许用户定义随机化区域来增强域随机化功能。开发人员现在可以在场景中要随机化的区域周围绘制一个框,场景的其余部分将保持静态。
亮亮视野AR眼镜护航工地建设 加强工地标准化管理
高端智能手机市场即将“悲剧”
英特尔新一代Cooper Lake服务器市场收窄
多功能食品检测仪的详细介绍
芯片的散热、发热等概念讨论
基于Omniverse的NVIDIA Isaac Sim现已发布公测版
FPGA从Xilinx的7系列学起(15)
激光甲烷/乙烷泄漏检测车的特点
电机轴承发热的要素及处理办法
如何利用SpringBoot+Redis BitMap实现签到与统计功能?
硬件界又是一波崩盘,缺货没救了
为什么数字信任在物联网中很重要?
富士X-Pro3复古旁轴无反相机评测 更加纯粹的摄影体验
微软谈AI愿景 让AI和云驱动一切
cuk电路matlab仿真
ATU非洲电信联盟、African Union非洲联盟及华为联合发布《非洲IPv6发展白皮书》
关于RX MCU如何读取Unique ID
低价还能享满减 GTX 1070追风限时促2599元
硅谷数模半导体的DisplayPort TCON接收芯片获V
网络面板接线步骤