NVIDIA Jetson AGX Orin开发套件加速AI开发和部署
新的 jetson agx orin 开发人员套件在 15-60 w 下提供 275 tops 的性能，并与 nvidia isaac 和 jetpack sdk 的进步相结合，以加速 ai 开发和部署，并将 omniverse 工具的输出带到边缘的自主机器人。
几年前，每个人的老板都在向他们询问物联网战略、原型，然后不可避免地需要一个产生显着投资回报率的实施方案。这个循环正在重复，只是这次是人工智能和机器学习。最大的问题是人工智能更难，需要更长的时间。
在技术和业务领导层开始要求它们时，创建物联网概念验证所需的大多数支持技术已经到位。另一方面，使用人工智能，创建一个甚至远程有用的模型的过程是漫长而乏味的，包括收集大量数据集、用标签标记数据、比较不同的模型类型，然后再选择最适合您使用的模型案例，然后针对标记的数据集训练所选模型。然后一次又一次地重复该过程，直到达到可接受的性能和准确性水平。
这个过程可能需要一年或更长时间，这甚至不考虑硬件。
nvidia 在过去六个月中发布了一系列产品和功能，以帮助 ai 开发人员加速这一进程。值得注意的是，在 gtc 2021 年秋季，该公司推出了 omniverse replicator 引擎，这是一种合成数据生成工具，可帮助开发人员训练 ai。作为公司 isaac 和 drive sim 模拟环境的一部分，replicator 生成和标记特定领域的真实数据，这些数据可以增强由人类工程师和数据科学家手动捕获和分类的真实世界数据集。仅此一项就可以将自动驾驶汽车、机器人和其他人工智能驱动机器的开发时间缩短数月。
但这只是第一步。replicator 生成数据后，需要通知模型。训练、适应、优化 （tao） 工具包解决了这一问题，该工具包在过去几年中得到了增强，以支持使用来自 omniverse replicator 等工具的合成数据对现有模型进行训练。正如您在上图中所见，工作流将这些模型与应用程序框架集成在一起，例如用于计算机视觉的 nvidia deepstream、用于支持人工智能的语音用例的 nvidia riva 以及通过与开源机器人基金会 （osrf） 合作的 isaac ros ）现在支持机器人操作系统 （ros），以加速自主移动机器人 （amr） 的开发。
这些 sdk 和工具链经过优化，可与 nvidia jetpack sdk 配合使用，该 sdk 是为公司的 jetson 系列嵌入式系统模块 （som） 和开发套件量身定制的操作系统和应用程序开发环境。
介绍 orin：缩短 ai 开发生命周期的又一步
nvidia 更加强调应用程序框架和 os sdk 的集成并不是什么新鲜事，但不应被忽视，因为它代表了 ai 系统工程生命周期的又一步，并缩短了自主机器的上市时间。例如，前面提到的 ros 和 isaac 环境的融合催生了 isaac nova orin等创新，这是一个利用基于 ros 的 gem 的计算和传感器参考平台，这些 gem 是用于 amr 感知堆栈中的计算机视觉和图像处理的软件包。
正如 nova orin 参考平台所定义的，这些功能所需的输入使用了一个传感器套件，该套件最多包含六个摄像头、三个激光雷达和八个超声波传感器。当然，这些都是可以模拟的，nova orin 包含允许开发人员在 nvidia omniverse 中测试他们的设计的工具，这些工具与 omniverse replicator 的功能完美搭配。然而，据该公司称，在真实世界中对这个参考平台进行原型设计需要大约 550 tops 的计算能力。
将 ai 开发时间从数月或数年缩短至数周或数天的驱动力推动了 nvidia 软件套件的发展，该套件现在可以解决从数据采集到驱动的所有问题。该软件套件的发展保证了高性能、注重功耗的边缘 ai 计算硬件的又一次迭代，该硬件昨天在公司两年一度的 gtc 活动中宣布：nvidia jetson agx orin 开发人员套件和 som。
jetson agx orin 开发人员套件可提供您对新 nvidia 硬件平台的期望——更高的性能、同等的功率和合理的价格点，适合希望在边缘推理目标上实施流线型 ai 模型的开发人员。该开发工具包现在售价 1，999 美元，凭借以下计算子系统，可在 15 至 60 w 的可配置功耗下提供高达 275 tops 的 int8 稀疏计算性能：
具有 2048 个 cuda 核心和 64 个 tensor 核心的 ampere gpu
12核arm cortex-a78ae cpu
双 nvidia 深度学习加速器 （dla）
双可编程视觉加速器 （pva）
h.265 视频编码/解码（4k60 至 1080p30 兼容解码高达 8k30）
这些由 32 gb 的 256 位 lpddr5 内存支持，带宽高达 204.8 gbps，足以在要求苛刻的 ai 推理部署中利用 gpu 和张量核心的大规模并行性。板载还有 64 gb 的 emmc 5.1 存储。
与 nvidia jetson agx xavier 相比，该产品线的性能提升了 8 倍，其中包括 3.3 倍的 ai 执行性能提升，与即将推出的 nvidia jetpack sdk 5.0 版配合使用时可跃升至 4.9 倍。尽管占用与 xavier 相同的 110 毫米 x 110 毫米 x 71.65 毫米外形尺寸（包括模块、载体和散热解决方案），但仍能实现这一目标。
在 jetson agx orin 开发人员套件上，这些功能可通过各种接口访问，这些接口能够支持 nova orin 参考设计等用例，包括：
16 通道 mipi csi-2 连接器
x16 pcie 插槽（x8 pcie gen4）
10 gbe 通过 rj45 端口
2x usb 3.2 gen2 支持 usb-pd （type c）， 2x usb 3.2 gen2 （type a）， 2x usb 3.2 gen1 （type a）， usb 2.0 （micro b）
用于串行通信、自动化、音频、调试、风扇等的各种排针。
用于扩展、存储的 m.2 key（m、e）和 microsd 插槽
此外，开发人员套件还附带一个 802.11ac/abgn 无线网络接口控制器和 usb-c 电源适配器和电源线。它还保持与jetson agx xavier 平台的引脚和软件兼容性，以实现最大的应用程序可移植性。
人工智能：从元界开发到边缘部署
两个 jetson agx orin 开发工具包足以满足 nova orin 参考设计的要求，直到现在，这可能需要一个成熟的边缘服务器。消除这些外形尺寸和功耗限制是实现从 amr 到自动驾驶汽车等系统中准确、低延迟的边缘 ai 扩散的关键。
但由于您实际上无法将开发人员套件放入生产系统中，因此 nvidia 宣布了基于 jetson agx orin 的新 som 系列，将于今年第四季度上市。在下面的幻灯片中可以看到，这些模块是开发人员套件的子集，具有不同的紧凑型（agx 或 nx）和性能级别，但具有与 jetson 系列模块的其余部分相同的连接器。
对于那些从 agx xavier 平台迁移的用户，最接近的模拟是 jetson agx orin 32 gb，1，000 多片的售价为 899 美元。
嵌入式硬件公司已经通过载板解决方案来支持这些模块，例如用于 nvidia jetson agx orin 的 connecttech forge carrier，它带来了模块的 16 通道 mipi 连接器、m.2 key 插槽、usb 3.2 接口和用于系统设计和扩张。
当然，这不是结束。基于这样的技术设计和部署生产系统实际上更多的是一个开始。
nvidia metropolis等软件功能继续将这些边缘 ai 平台转变为最接近已知存在的人类感知能力的平台。metropolis 是另一个应用程序框架，它将来自“数万亿个端点”的视觉传感器数据与人工智能相结合，以帮助为系统设计和操作提供信息。换句话说，对于 metropolis，工厂监控摄像头可以作为辅助 amr 导航的输入。
如果你觉得事情正在发生变化，而且变化很快，那你是对的。他们是。没关系。正如 nvidia 首席执行官 jensen huang 在新闻发布会上所说，“深度学习不仅仅是像光栅化或纹理映射这样的新应用或技术的某些特征。深度学习和机器学习是计算的基本重新设计。这是一种全新的计算方式，其意义非常重要。
“我们编写软件的方式、我们维护软件的方式、我们不断改进软件的方式都发生了变化，这是第一位的，”他继续说道。“第二，我们可以编写的软件类型发生了变化。它是超人的能力，我们以前从未编写过的软件。第三件事是为软件工程师和操作提供的整个基础设施，即所谓的 mlops，即与开发这种端到端从根本上改变公司有关。”
幸运的是，像 jetson agx orin 这样的工具包、像 jetpack 和 isaac sim 这样的环境，以及像 omniverse replicator 这样的元宇宙开发的工具现在都可以用来促进这种过渡，从而简化 ai 开发并缩短部署时间这在一年前是不可想象的。
中国5G的发展及落地情况详细解读
三星Note9评测 小变动累计大体验顶级规格配顶级体验
ANDON安灯系统的优点和缺点有哪些
智慧能源三维可视化管理系统 助力园区节能增效
NVIDIA发布采用直接芯片冷却技术的数据中心PCIe GPU
NVIDIA Jetson AGX Orin开发套件加速AI开发和部署
智慧医疗送服务上门，让医疗服务变得更加高效
什么是Colocation
卫星互联网有望迎来发展蓝海，京沪两地开始抢跑卫星互联网建设
测量氧分压的氧气传感器
DIY数控可调电源
海康威视优势仍存，但危机正在逼近
如何实现盐炉温控柜自动控制系统的设计
工业人工智能的四大关键技术是什么
将FPGA作为下一代汽车电子设计的灵活及低成本解决方案还需要考虑这些问题
苹果自动驾驶技术获专利，意与传统汽车企业公平竞争
戴尔新发布75英寸多点触控4K显示器
机器人能改善人口老龄化问题吗？
谷歌/Tesla/通用汽车各具优势和特色 给予自动驾驶未来更多看点
标准规格SD卡连接器：通过小型化削减材料实现低价格，使用更加便利
几年前，每个人的老板都在向他们询问物联网战略、原型，然后不可避免地需要一个产生显着投资回报率的实施方案。这个循环正在重复，只是这次是人工智能和机器学习。最大的问题是人工智能更难，需要更长的时间。
在技术和业务领导层开始要求它们时，创建物联网概念验证所需的大多数支持技术已经到位。另一方面，使用人工智能，创建一个甚至远程有用的模型的过程是漫长而乏味的，包括收集大量数据集、用标签标记数据、比较不同的模型类型，然后再选择最适合您使用的模型案例，然后针对标记的数据集训练所选模型。然后一次又一次地重复该过程，直到达到可接受的性能和准确性水平。
这个过程可能需要一年或更长时间，这甚至不考虑硬件。
nvidia 在过去六个月中发布了一系列产品和功能，以帮助 ai 开发人员加速这一进程。值得注意的是，在 gtc 2021 年秋季，该公司推出了 omniverse replicator 引擎，这是一种合成数据生成工具，可帮助开发人员训练 ai。作为公司 isaac 和 drive sim 模拟环境的一部分，replicator 生成和标记特定领域的真实数据，这些数据可以增强由人类工程师和数据科学家手动捕获和分类的真实世界数据集。仅此一项就可以将自动驾驶汽车、机器人和其他人工智能驱动机器的开发时间缩短数月。
但这只是第一步。replicator 生成数据后，需要通知模型。训练、适应、优化 （tao） 工具包解决了这一问题，该工具包在过去几年中得到了增强，以支持使用来自 omniverse replicator 等工具的合成数据对现有模型进行训练。正如您在上图中所见，工作流将这些模型与应用程序框架集成在一起，例如用于计算机视觉的 nvidia deepstream、用于支持人工智能的语音用例的 nvidia riva 以及通过与开源机器人基金会 （osrf） 合作的 isaac ros ）现在支持机器人操作系统 （ros），以加速自主移动机器人 （amr） 的开发。
这些 sdk 和工具链经过优化，可与 nvidia jetpack sdk 配合使用，该 sdk 是为公司的 jetson 系列嵌入式系统模块 （som） 和开发套件量身定制的操作系统和应用程序开发环境。
介绍 orin：缩短 ai 开发生命周期的又一步
nvidia 更加强调应用程序框架和 os sdk 的集成并不是什么新鲜事，但不应被忽视，因为它代表了 ai 系统工程生命周期的又一步，并缩短了自主机器的上市时间。例如，前面提到的 ros 和 isaac 环境的融合催生了 isaac nova orin等创新，这是一个利用基于 ros 的 gem 的计算和传感器参考平台，这些 gem 是用于 amr 感知堆栈中的计算机视觉和图像处理的软件包。
正如 nova orin 参考平台所定义的，这些功能所需的输入使用了一个传感器套件，该套件最多包含六个摄像头、三个激光雷达和八个超声波传感器。当然，这些都是可以模拟的，nova orin 包含允许开发人员在 nvidia omniverse 中测试他们的设计的工具，这些工具与 omniverse replicator 的功能完美搭配。然而，据该公司称，在真实世界中对这个参考平台进行原型设计需要大约 550 tops 的计算能力。
将 ai 开发时间从数月或数年缩短至数周或数天的驱动力推动了 nvidia 软件套件的发展，该套件现在可以解决从数据采集到驱动的所有问题。该软件套件的发展保证了高性能、注重功耗的边缘 ai 计算硬件的又一次迭代，该硬件昨天在公司两年一度的 gtc 活动中宣布：nvidia jetson agx orin 开发人员套件和 som。
jetson agx orin 开发人员套件可提供您对新 nvidia 硬件平台的期望——更高的性能、同等的功率和合理的价格点，适合希望在边缘推理目标上实施流线型 ai 模型的开发人员。该开发工具包现在售价 1，999 美元，凭借以下计算子系统，可在 15 至 60 w 的可配置功耗下提供高达 275 tops 的 int8 稀疏计算性能：
具有 2048 个 cuda 核心和 64 个 tensor 核心的 ampere gpu
12核arm cortex-a78ae cpu
双 nvidia 深度学习加速器 （dla）
双可编程视觉加速器 （pva）
h.265 视频编码/解码（4k60 至 1080p30 兼容解码高达 8k30）
这些由 32 gb 的 256 位 lpddr5 内存支持，带宽高达 204.8 gbps，足以在要求苛刻的 ai 推理部署中利用 gpu 和张量核心的大规模并行性。板载还有 64 gb 的 emmc 5.1 存储。
与 nvidia jetson agx xavier 相比，该产品线的性能提升了 8 倍，其中包括 3.3 倍的 ai 执行性能提升，与即将推出的 nvidia jetpack sdk 5.0 版配合使用时可跃升至 4.9 倍。尽管占用与 xavier 相同的 110 毫米 x 110 毫米 x 71.65 毫米外形尺寸（包括模块、载体和散热解决方案），但仍能实现这一目标。
在 jetson agx orin 开发人员套件上，这些功能可通过各种接口访问，这些接口能够支持 nova orin 参考设计等用例，包括：
16 通道 mipi csi-2 连接器
x16 pcie 插槽（x8 pcie gen4）
10 gbe 通过 rj45 端口
2x usb 3.2 gen2 支持 usb-pd （type c）， 2x usb 3.2 gen2 （type a）， 2x usb 3.2 gen1 （type a）， usb 2.0 （micro b）
用于串行通信、自动化、音频、调试、风扇等的各种排针。
用于扩展、存储的 m.2 key（m、e）和 microsd 插槽
此外，开发人员套件还附带一个 802.11ac/abgn 无线网络接口控制器和 usb-c 电源适配器和电源线。它还保持与jetson agx xavier 平台的引脚和软件兼容性，以实现最大的应用程序可移植性。
人工智能：从元界开发到边缘部署
两个 jetson agx orin 开发工具包足以满足 nova orin 参考设计的要求，直到现在，这可能需要一个成熟的边缘服务器。消除这些外形尺寸和功耗限制是实现从 amr 到自动驾驶汽车等系统中准确、低延迟的边缘 ai 扩散的关键。
但由于您实际上无法将开发人员套件放入生产系统中，因此 nvidia 宣布了基于 jetson agx orin 的新 som 系列，将于今年第四季度上市。在下面的幻灯片中可以看到，这些模块是开发人员套件的子集，具有不同的紧凑型（agx 或 nx）和性能级别，但具有与 jetson 系列模块的其余部分相同的连接器。
对于那些从 agx xavier 平台迁移的用户，最接近的模拟是 jetson agx orin 32 gb，1，000 多片的售价为 899 美元。
嵌入式硬件公司已经通过载板解决方案来支持这些模块，例如用于 nvidia jetson agx orin 的 connecttech forge carrier，它带来了模块的 16 通道 mipi 连接器、m.2 key 插槽、usb 3.2 接口和用于系统设计和扩张。
当然，这不是结束。基于这样的技术设计和部署生产系统实际上更多的是一个开始。
nvidia metropolis等软件功能继续将这些边缘 ai 平台转变为最接近已知存在的人类感知能力的平台。metropolis 是另一个应用程序框架，它将来自“数万亿个端点”的视觉传感器数据与人工智能相结合，以帮助为系统设计和操作提供信息。换句话说，对于 metropolis，工厂监控摄像头可以作为辅助 amr 导航的输入。
如果你觉得事情正在发生变化，而且变化很快，那你是对的。他们是。没关系。正如 nvidia 首席执行官 jensen huang 在新闻发布会上所说，“深度学习不仅仅是像光栅化或纹理映射这样的新应用或技术的某些特征。深度学习和机器学习是计算的基本重新设计。这是一种全新的计算方式，其意义非常重要。
“我们编写软件的方式、我们维护软件的方式、我们不断改进软件的方式都发生了变化，这是第一位的，”他继续说道。“第二，我们可以编写的软件类型发生了变化。它是超人的能力，我们以前从未编写过的软件。第三件事是为软件工程师和操作提供的整个基础设施，即所谓的 mlops，即与开发这种端到端从根本上改变公司有关。”
幸运的是，像 jetson agx orin 这样的工具包、像 jetpack 和 isaac sim 这样的环境，以及像 omniverse replicator 这样的元宇宙开发的工具现在都可以用来促进这种过渡，从而简化 ai 开发并缩短部署时间这在一年前是不可想象的。
中国5G的发展及落地情况详细解读
三星Note9评测 小变动累计大体验顶级规格配顶级体验
ANDON安灯系统的优点和缺点有哪些
智慧能源三维可视化管理系统 助力园区节能增效
NVIDIA发布采用直接芯片冷却技术的数据中心PCIe GPU
NVIDIA Jetson AGX Orin开发套件加速AI开发和部署
智慧医疗送服务上门，让医疗服务变得更加高效
什么是Colocation
卫星互联网有望迎来发展蓝海，京沪两地开始抢跑卫星互联网建设
测量氧分压的氧气传感器
DIY数控可调电源
海康威视优势仍存，但危机正在逼近
如何实现盐炉温控柜自动控制系统的设计
工业人工智能的四大关键技术是什么
将FPGA作为下一代汽车电子设计的灵活及低成本解决方案还需要考虑这些问题
苹果自动驾驶技术获专利，意与传统汽车企业公平竞争
戴尔新发布75英寸多点触控4K显示器
机器人能改善人口老龄化问题吗？
谷歌/Tesla/通用汽车各具优势和特色 给予自动驾驶未来更多看点
标准规格SD卡连接器：通过小型化削减材料实现低价格，使用更加便利