NVIDIA Jetson Orin深度学习加速器入门
如果你是一个活跃的 jetson 开发者，你知道 nvidia isaac 的一个关键优点是它将 cpu 和 gpu 组合成一个单一的模块，在一个可以部署在边缘的小、低功耗软件包中为你提供扩展的 nvidia 软件堆栈。
jetson 还具有多种其他处理器，包括硬件加速编码器和解码器、图像信号处理器和深度学习加速器（ dla ）。
dla 可在 jetson agx xavier， xavier nx， jetson agx orin 和 jetson orin-nx 模块上使用。最近的 nvidia drive xavier 和基于 orin 的平台也有 dla 核心。
深度学习加速器概述
dla 是一种特定于应用的集成电路，能够有效地执行固定操作，如卷积和池，这在现代神经网络架构中很常见。虽然 dla 没有那么多 支持的层 作为 gpu ，它仍然支持许多流行的神经网络架构中使用的各种层。
在许多情况下，层支持可能涵盖模型的需求。例如， nvidia tao 工具包 包括 dla 支持的各种预训练模型，从目标检测到动作识别。
虽然需要注意的是， dla 吞吐量通常低于 gpu 的吞吐量，但它具有能效，允许您卸载深度学习工作负载，将 gpu 释放出来用于其他任务。或者，根据您的应用程序，您可以在 gpu 和 dla 上同时运行相同的模型，以实现更高的净吞吐量。
许多 nvidia jetson 开发者已经在使用 dla 成功优化他们的应用程序。 postmates 利用 dla 和 gpu 优化了 jetson agx xavier 上的交付机器人应用。这个 菜鸟实验室 使用 dla 优化其物流车辆。如果您希望充分优化应用程序， dla 是 jetson 系列中需要考虑的一个重要部分。
如何使用深度学习加速器
图 1.jetson orin 上深度学习加速器的粗略架构图
要使用 dla ，首先需要使用深度学习框架（如 pytorch 或 tensorflow ）来训练模型。接下来，您需要使用 nvidia tensorrt 导入并优化您的模型。 tensorrt 负责生成 dla 引擎，也可以用作执行这些引擎的运行时。最后，您应该分析您的模式，并尽可能进行优化，以最大限度地提高 dla 兼容性。
开始使用深度学习加速器
准备好潜水了吗？这个 jetson_dla_tutorial github 项目演示了一个基本的 dla 工作流，可以帮助您优化 jetson 的应用程序。
通过本教程，您可以学习如何在 pytorch 中定义模型，使用 tensorrt 导入模型，使用 nvidia nsight system profiler 分析性能，修改模型以获得更好的 dla 兼容性，以及为 int8 执行进行校准。请注意， cifar10 数据集用作玩具示例，以便于再现步骤。
关于作者
john welsh 是 nvidia 自治机器的开发技术工程师，他与 nvidia jetson 一起开发加速应用程序。
1.5A 同步降压型 DC/DC 转换器可在 2MHz 提供 93% 效率 和工作在 3.0V 至 42V 输入范围
RT-AK及Art-Pi简介
中移动对NFC终端加大补贴 NFC步入快车道
新乐视困局难破,超级电视难落地,新乐视又该何去何从
如何给发热的移动VR头显降温?
NVIDIA Jetson Orin深度学习加速器入门
TA7673P引脚功能的电压资料参数
技术资讯 | IBIS元件模型相关知识
Tensorflow网络传输性能分析
3D打印模型出现层错位的原因与解决方法
电蜂优选分析2023年新能源汽车连接器行业市场
光纤连接器的作用_光纤连接器的连接步骤
基于瑞萨RL78/G13系列单片机的电动工具解决方案
如何用旧收音机制作音频点唱机
AVR单片机的熔丝应该如何设置
Arm Development Studio 最新版本2020.0 发布！
工业机器人如何实现精准移动，笛卡尔变换发挥大作用
光纤收发器的分类、用途及特点
如何在远程工作环境中利用云计算技术？
3842开关电源维修技巧 3842开关电源两个光耦作用
jetson 还具有多种其他处理器，包括硬件加速编码器和解码器、图像信号处理器和深度学习加速器（ dla ）。
dla 可在 jetson agx xavier， xavier nx， jetson agx orin 和 jetson orin-nx 模块上使用。最近的 nvidia drive xavier 和基于 orin 的平台也有 dla 核心。
深度学习加速器概述
dla 是一种特定于应用的集成电路，能够有效地执行固定操作，如卷积和池，这在现代神经网络架构中很常见。虽然 dla 没有那么多 支持的层 作为 gpu ，它仍然支持许多流行的神经网络架构中使用的各种层。
在许多情况下，层支持可能涵盖模型的需求。例如， nvidia tao 工具包 包括 dla 支持的各种预训练模型，从目标检测到动作识别。
虽然需要注意的是， dla 吞吐量通常低于 gpu 的吞吐量，但它具有能效，允许您卸载深度学习工作负载，将 gpu 释放出来用于其他任务。或者，根据您的应用程序，您可以在 gpu 和 dla 上同时运行相同的模型，以实现更高的净吞吐量。
许多 nvidia jetson 开发者已经在使用 dla 成功优化他们的应用程序。 postmates 利用 dla 和 gpu 优化了 jetson agx xavier 上的交付机器人应用。这个 菜鸟实验室 使用 dla 优化其物流车辆。如果您希望充分优化应用程序， dla 是 jetson 系列中需要考虑的一个重要部分。
如何使用深度学习加速器
图 1.jetson orin 上深度学习加速器的粗略架构图
要使用 dla ，首先需要使用深度学习框架（如 pytorch 或 tensorflow ）来训练模型。接下来，您需要使用 nvidia tensorrt 导入并优化您的模型。 tensorrt 负责生成 dla 引擎，也可以用作执行这些引擎的运行时。最后，您应该分析您的模式，并尽可能进行优化，以最大限度地提高 dla 兼容性。
开始使用深度学习加速器
准备好潜水了吗？这个 jetson_dla_tutorial github 项目演示了一个基本的 dla 工作流，可以帮助您优化 jetson 的应用程序。
通过本教程，您可以学习如何在 pytorch 中定义模型，使用 tensorrt 导入模型，使用 nvidia nsight system profiler 分析性能，修改模型以获得更好的 dla 兼容性，以及为 int8 执行进行校准。请注意， cifar10 数据集用作玩具示例，以便于再现步骤。
关于作者
john welsh 是 nvidia 自治机器的开发技术工程师，他与 nvidia jetson 一起开发加速应用程序。
1.5A 同步降压型 DC/DC 转换器可在 2MHz 提供 93% 效率 和工作在 3.0V 至 42V 输入范围
RT-AK及Art-Pi简介
中移动对NFC终端加大补贴 NFC步入快车道
新乐视困局难破,超级电视难落地,新乐视又该何去何从
如何给发热的移动VR头显降温?
NVIDIA Jetson Orin深度学习加速器入门
TA7673P引脚功能的电压资料参数
技术资讯 | IBIS元件模型相关知识
Tensorflow网络传输性能分析
3D打印模型出现层错位的原因与解决方法
电蜂优选分析2023年新能源汽车连接器行业市场
光纤连接器的作用_光纤连接器的连接步骤
基于瑞萨RL78/G13系列单片机的电动工具解决方案
如何用旧收音机制作音频点唱机
AVR单片机的熔丝应该如何设置
Arm Development Studio 最新版本2020.0 发布！
工业机器人如何实现精准移动，笛卡尔变换发挥大作用
光纤收发器的分类、用途及特点
如何在远程工作环境中利用云计算技术？
3842开关电源维修技巧 3842开关电源两个光耦作用