NVIDIA TensorRT的命令行程序
a.3.1. trtexec
示例目录中包含一个名为trtexec的命令行包装工具。 trtexec是一种无需开发自己的应用程序即可快速使用 tensorrt 的工具。
trtexec工具有三个主要用途：
它对于在随机或用户提供的输入数据上对网络进行基准测试很有用。
它对于从模型生成序列化引擎很有用。
它对于从构建器生成序列化时序缓存很有用。
a.3.1.1. benchmarking network
如果您将模型保存为 onnx 文件、uff 文件，或者如果您有 caffe prototxt 格式的网络描述，则可以使用trtexec工具测试使用 tensorrt 在网络上运行推理的性能。 trtexec工具有许多选项用于指定输入和输出、性能计时的迭代、允许的精度和其他选项。
为了最大限度地提高 gpu 利用率， trtexec会提前将一个batch放入队列。换句话说，它执行以下操作：
enqueue batch 0
-》 enqueue batch 1
-》 wait until batch 0 is done
-》 enqueue batch 2
-》 wait until batch 1 is done
-》 enqueue batch 3
-》 wait until batch 2 is done
-》 enqueue batch 4
-》 。..
如果使用多流（ --streams=n标志），则trtexec在每个流上分别遵循此模式。
trtexec工具打印以下性能指标。下图显示了trtexec运行的示例 nsight 系统配置文件，其中标记显示了每个性能指标的含义。
throughput
观察到的吞吐量是通过将执行数除以 total host walltime 来计算的。如果这显着低于 gpu 计算时间的倒数，则 gpu 可能由于主机端开销或数据传输而未被充分利用。使用 cuda 图（使用--usecudagraph ）或禁用 h2d/d2h 传输（使用--nodatatransfer ）可以提高 gpu 利用率。当trtexec检测到 gpu 未充分利用时，输出日志提供了有关使用哪个标志的指导。
host latency
h2d 延迟、gpu 计算时间和 d2h 延迟的总和。这是推断单个执行的延迟。
enqueue time
将执行排入队列的主机延迟，包括调用 h2d/d2h cuda api、运行主机端方法和启动 cuda 内核。如果这比 gpu 计算时间长，则 gpu 可能未被充分利用，并且吞吐量可能由主机端开销支配。使用 cuda 图（带有--usecudagraph ）可以减少排队时间。
h2d latency
单个执行的输入张量的主机到设备数据传输的延迟。添加--nodatatransfer以禁用 h2d/d2h 数据传输。
d2h latency
单个执行的输出张量的设备到主机数据传输的延迟。添加--nodatatransfer以禁用 h2d/d2h 数据传输。
gpu compute time
为执行 cuda 内核的 gpu 延迟。
total host walltime
从第一个执行（预热后）入队到最后一个执行完成的主机时间。
total gpu compute time
所有执行的 gpu 计算时间的总和。如果这明显短于 total host walltime，则 gpu 可能由于主机端开销或数据传输而未得到充分利用。
图 1. 在 nsight 系统下运行的正常trtexec的性能指标（shufflenet，bs=16，best，titanrtx@1200mhz）
将--dumpprofile标志添加到trtexec以显示每层性能配置文件，这使用户可以了解网络中的哪些层在 gpu 执行中花费的时间最多。每层性能分析也适用于作为 cuda 图启动推理（需要 cuda 11.1 及更高版本）。此外，使用--profilingverbosity=detailed标志构建引擎并添加--dumplayerinfo标志以显示详细的引擎信息，包括每层详细信息和绑定信息。这可以让你了解引擎中每一层对应的操作及其参数。
a.3.1.2. serialized engine generation
如果您生成保存的序列化引擎文件，您可以将其拉入另一个运行推理的应用程序中。例如，您可以使用tensorrt 实验室以完全流水线异步方式运行具有来自多个线程的多个执行上下文的引擎，以测试并行推理性能。有一些警告；例如，如果您使用 caffe prototxt 文件并且未提供模型，则会生成随机权重。此外，在 int8 模式下，使用随机权重，这意味着 trtexec 不提供校准功能。
a.3.1.3. trtexec
如果您向--timingcachefile选项提供时序缓存文件，则构建器可以从中加载现有的分析数据并在层分析期间添加新的分析数据条目。计时缓存文件可以在其他构建器实例中重用，以提高构建器执行时间。建议仅在相同的硬件/软件配置（例如，cuda/cudnn/tensorrt 版本、设备型号和时钟频率）中重复使用此缓存；否则，可能会出现功能或性能问题。
a.3.1.4. 常用的命令行标志
该部分列出了常用的trtexec命令行标志。
构建阶段的标志
--onnx=《model》 ：指定输入 onnx 模型。
--deploy=《caffe_prototxt》 ：指定输入的 caffe prototxt 模型。
--uff=《model》 ：指定输入 uff 模型。
--output=《tensor》 ：指定输出张量名称。仅当输入模型为 uff 或 caffe 格式时才需要。
--maxbatch=《bs》 ：指定构建引擎的最大批量大小。仅当输入模型为 uff 或 caffe 格式时才需要。如果输入模型是 onnx 格式，请使用--minshapes 、 --optshapes 、 --maxshapes标志来控制输入形状的范围，包括批量大小。
--minshapes=《shapes》 ， --optshapes=《shapes》 ， --maxshapes=《shapes》 ：指定用于构建引擎的输入形状的范围。仅当输入模型为 onnx 格式时才需要。
--workspace=《size in mb》 ：指定策略允许使用的最大工作空间大小。该标志已被弃用。您可以改用--mempoolsize=《pool_spec》标志。
--mempoolsize=《pool_spec》 ：指定策略允许使用的工作空间的最大大小，以及 dla 将分配的每个可加载的内存池的大小。
--saveengine=《file》 ：指定保存引擎的路径。
--fp16 、 --int8 、 --notf32 、 --best ：指定网络级精度。
--sparsity=［disable|enable|force］ ：指定是否使用支持结构化稀疏的策略。
disable ：使用结构化稀疏禁用所有策略。这是默认设置。
enable ：使用结构化稀疏启用策略。只有当 onnx 文件中的权重满足结构化稀疏性的要求时，才会使用策略。
force ：使用结构化稀疏启用策略，并允许 trtexec 覆盖 onnx 文件中的权重，以强制它们具有结构化稀疏模式。请注意，不会保留准确性，因此这只是为了获得推理性能。
--timingcachefile=《file》 ：指定要从中加载和保存的时序缓存。
--verbose ：打开详细日志记录。
--buildonly ：在不运行推理的情况下构建并保存引擎。
--profilingverbosity=［layer_names_only|detailed|none］ ：指定用于构建引擎的分析详细程度。
--dumplayerinfo ， --exportlayerinfo=《file》 ：打印/保存引擎的层信息。
--precisionconstraints=spec ：控制精度约束设置。
none ：没有限制。
prefer ：如果可能，满足--layerprecisions / --layeroutputtypes设置的精度约束。
obey：满足由--layerprecisions / --layeroutputtypes设置的精度约束，否则失败。
--layerprecisions=spec ：控制每层精度约束。仅当precisionconstraints设置为服从或首选时才有效。规范是从左到右阅读的，后面的会覆盖前面的。 “ * ”可以用作layername来指定所有未指定层的默认精度。
例如： --layerprecisions=*：fp16，layer_1:fp32将所有层的精度设置为fp16 ，除了 layer_1 将设置为 fp32。
--layeroutputtypes=spec ：控制每层输出类型约束。仅当precisionconstraints设置为服从或首选时才有效。规范是从左到右阅读的，后面的会覆盖前面的。 “ * ”可以用作layername来指定所有未指定层的默认精度。如果一个层有多个输出，则可以为该层提供用“ + ”分隔的多种类型。
例如： --layeroutputtypes=*：fp16，layer_1:fp32+fp16将所有层输出的精度设置为fp16 ，但 layer_1 除外，其第一个输出将设置为 fp32，其第二个输出将设置为 fp16。
推理阶段的标志
--loadengine=《file》 ：从序列化计划文件加载引擎，而不是从输入 onnx、uff 或 caffe 模型构建引擎。
--batch=《n》 ：指定运行推理的批次大小。仅当输入模型为 uff 或 caffe 格式时才需要。如果输入模型是 onnx 格式，或者引擎是使用显式批量维度构建的，请改用--shapes 。
--shapes=《shapes》 ：指定要运行推理的输入形状。
--warmup=《duration in ms》 ， --duration=《duration in seconds》 ， --iterations=《n》 ： 指定预热运行的最短持续时间、推理运行的最短持续时间和推理运行的迭代。例如，设置--warmup=0 --duration=0 --iterations允许用户准确控制运行推理的迭代次数。
--usecudagraph ：将推理捕获到 cuda 图并通过启动图来运行推理。当构建的 tensorrt 引擎包含 cuda 图捕获模式下不允许的操作时，可以忽略此参数。
--nodatatransfers ：关闭主机到设备和设备到主机的数据传输。
--streams=《n》 ：并行运行多个流的推理。
--verbose ：打开详细日志记录。
--dumpprofile， --exportprofile=《file》 ：打印/保存每层性能配置文件。
关于作者
ken he 是 nvidia 企业级开发者社区经理 & 高级讲师，拥有多年的 gpu 和人工智能开发经验。自 2017 年加入 nvidia 开发者社区以来，完成过上百场培训，帮助上万个开发者了解人工智能和 gpu 编程开发。在计算机视觉，高性能计算领域完成过多个独立项目。并且，在机器人和无人机领域，有过丰富的研发经验。对于图像识别，目标的检测与跟踪完成过多种解决方案。曾经参与 gpu 版气象模式grapes，是其主要研发者。
为什么华人在人工智能领域这么强？
小米华为急了 一加3T才是手机中低调的实力派！
阿里巴巴达摩院发布2021十大科技趋势
为半自动和自动驾驶设计的QuadSight视觉系统
一种简单的显卡安装技巧 还不会阻碍到CPU风扇等配件
NVIDIA TensorRT的命令行程序
2.4G有源智能电子学生卡（SI24R2E应用实例）
松下伺服电机和普通电机之间的区别
如何远程管理windows2003服务器
骨传导巅峰之作：earsopen逸鸥真无线骨传导耳机，成功解决漏音问题
【昉·星光 2 高性能RISC-V单板计算机体验】+搭建编译环境编译
光纤和5G网络谁更快
基于CMM下开关损耗和反激开关损耗分析以及公式计算
取样检波器使用方法及工作原理
基于图数据库的配电网供电范围分析应用研究
基于IPv6的SRv6技术将是未来网络的必然演进趋势
Synergy Research：2019年Q3大型数据中心已超过500个
USB电池充电电路
iPad Pro 10.5英寸京东价格松动 一号店价格更低：4888元
目前全屋智能家电技术发展的怎么样了
示例目录中包含一个名为trtexec的命令行包装工具。 trtexec是一种无需开发自己的应用程序即可快速使用 tensorrt 的工具。
trtexec工具有三个主要用途：
它对于在随机或用户提供的输入数据上对网络进行基准测试很有用。
它对于从模型生成序列化引擎很有用。
它对于从构建器生成序列化时序缓存很有用。
a.3.1.1. benchmarking network
如果您将模型保存为 onnx 文件、uff 文件，或者如果您有 caffe prototxt 格式的网络描述，则可以使用trtexec工具测试使用 tensorrt 在网络上运行推理的性能。 trtexec工具有许多选项用于指定输入和输出、性能计时的迭代、允许的精度和其他选项。
为了最大限度地提高 gpu 利用率， trtexec会提前将一个batch放入队列。换句话说，它执行以下操作：
enqueue batch 0
-》 enqueue batch 1
-》 wait until batch 0 is done
-》 enqueue batch 2
-》 wait until batch 1 is done
-》 enqueue batch 3
-》 wait until batch 2 is done
-》 enqueue batch 4
-》 。..
如果使用多流（ --streams=n标志），则trtexec在每个流上分别遵循此模式。
trtexec工具打印以下性能指标。下图显示了trtexec运行的示例 nsight 系统配置文件，其中标记显示了每个性能指标的含义。
throughput
观察到的吞吐量是通过将执行数除以 total host walltime 来计算的。如果这显着低于 gpu 计算时间的倒数，则 gpu 可能由于主机端开销或数据传输而未被充分利用。使用 cuda 图（使用--usecudagraph ）或禁用 h2d/d2h 传输（使用--nodatatransfer ）可以提高 gpu 利用率。当trtexec检测到 gpu 未充分利用时，输出日志提供了有关使用哪个标志的指导。
host latency
h2d 延迟、gpu 计算时间和 d2h 延迟的总和。这是推断单个执行的延迟。
enqueue time
将执行排入队列的主机延迟，包括调用 h2d/d2h cuda api、运行主机端方法和启动 cuda 内核。如果这比 gpu 计算时间长，则 gpu 可能未被充分利用，并且吞吐量可能由主机端开销支配。使用 cuda 图（带有--usecudagraph ）可以减少排队时间。
h2d latency
单个执行的输入张量的主机到设备数据传输的延迟。添加--nodatatransfer以禁用 h2d/d2h 数据传输。
d2h latency
单个执行的输出张量的设备到主机数据传输的延迟。添加--nodatatransfer以禁用 h2d/d2h 数据传输。
gpu compute time
为执行 cuda 内核的 gpu 延迟。
total host walltime
从第一个执行（预热后）入队到最后一个执行完成的主机时间。
total gpu compute time
所有执行的 gpu 计算时间的总和。如果这明显短于 total host walltime，则 gpu 可能由于主机端开销或数据传输而未得到充分利用。
图 1. 在 nsight 系统下运行的正常trtexec的性能指标（shufflenet，bs=16，best，titanrtx@1200mhz）
将--dumpprofile标志添加到trtexec以显示每层性能配置文件，这使用户可以了解网络中的哪些层在 gpu 执行中花费的时间最多。每层性能分析也适用于作为 cuda 图启动推理（需要 cuda 11.1 及更高版本）。此外，使用--profilingverbosity=detailed标志构建引擎并添加--dumplayerinfo标志以显示详细的引擎信息，包括每层详细信息和绑定信息。这可以让你了解引擎中每一层对应的操作及其参数。
a.3.1.2. serialized engine generation
如果您生成保存的序列化引擎文件，您可以将其拉入另一个运行推理的应用程序中。例如，您可以使用tensorrt 实验室以完全流水线异步方式运行具有来自多个线程的多个执行上下文的引擎，以测试并行推理性能。有一些警告；例如，如果您使用 caffe prototxt 文件并且未提供模型，则会生成随机权重。此外，在 int8 模式下，使用随机权重，这意味着 trtexec 不提供校准功能。
a.3.1.3. trtexec
如果您向--timingcachefile选项提供时序缓存文件，则构建器可以从中加载现有的分析数据并在层分析期间添加新的分析数据条目。计时缓存文件可以在其他构建器实例中重用，以提高构建器执行时间。建议仅在相同的硬件/软件配置（例如，cuda/cudnn/tensorrt 版本、设备型号和时钟频率）中重复使用此缓存；否则，可能会出现功能或性能问题。
a.3.1.4. 常用的命令行标志
该部分列出了常用的trtexec命令行标志。
构建阶段的标志
--onnx=《model》 ：指定输入 onnx 模型。
--deploy=《caffe_prototxt》 ：指定输入的 caffe prototxt 模型。
--uff=《model》 ：指定输入 uff 模型。
--output=《tensor》 ：指定输出张量名称。仅当输入模型为 uff 或 caffe 格式时才需要。
--maxbatch=《bs》 ：指定构建引擎的最大批量大小。仅当输入模型为 uff 或 caffe 格式时才需要。如果输入模型是 onnx 格式，请使用--minshapes 、 --optshapes 、 --maxshapes标志来控制输入形状的范围，包括批量大小。
--minshapes=《shapes》 ， --optshapes=《shapes》 ， --maxshapes=《shapes》 ：指定用于构建引擎的输入形状的范围。仅当输入模型为 onnx 格式时才需要。
--workspace=《size in mb》 ：指定策略允许使用的最大工作空间大小。该标志已被弃用。您可以改用--mempoolsize=《pool_spec》标志。
--mempoolsize=《pool_spec》 ：指定策略允许使用的工作空间的最大大小，以及 dla 将分配的每个可加载的内存池的大小。
--saveengine=《file》 ：指定保存引擎的路径。
--fp16 、 --int8 、 --notf32 、 --best ：指定网络级精度。
--sparsity=［disable|enable|force］ ：指定是否使用支持结构化稀疏的策略。
disable ：使用结构化稀疏禁用所有策略。这是默认设置。
enable ：使用结构化稀疏启用策略。只有当 onnx 文件中的权重满足结构化稀疏性的要求时，才会使用策略。
force ：使用结构化稀疏启用策略，并允许 trtexec 覆盖 onnx 文件中的权重，以强制它们具有结构化稀疏模式。请注意，不会保留准确性，因此这只是为了获得推理性能。
--timingcachefile=《file》 ：指定要从中加载和保存的时序缓存。
--verbose ：打开详细日志记录。
--buildonly ：在不运行推理的情况下构建并保存引擎。
--profilingverbosity=［layer_names_only|detailed|none］ ：指定用于构建引擎的分析详细程度。
--dumplayerinfo ， --exportlayerinfo=《file》 ：打印/保存引擎的层信息。
--precisionconstraints=spec ：控制精度约束设置。
none ：没有限制。
prefer ：如果可能，满足--layerprecisions / --layeroutputtypes设置的精度约束。
obey：满足由--layerprecisions / --layeroutputtypes设置的精度约束，否则失败。
--layerprecisions=spec ：控制每层精度约束。仅当precisionconstraints设置为服从或首选时才有效。规范是从左到右阅读的，后面的会覆盖前面的。 “ * ”可以用作layername来指定所有未指定层的默认精度。
例如： --layerprecisions=*：fp16，layer_1:fp32将所有层的精度设置为fp16 ，除了 layer_1 将设置为 fp32。
--layeroutputtypes=spec ：控制每层输出类型约束。仅当precisionconstraints设置为服从或首选时才有效。规范是从左到右阅读的，后面的会覆盖前面的。 “ * ”可以用作layername来指定所有未指定层的默认精度。如果一个层有多个输出，则可以为该层提供用“ + ”分隔的多种类型。
例如： --layeroutputtypes=*：fp16，layer_1:fp32+fp16将所有层输出的精度设置为fp16 ，但 layer_1 除外，其第一个输出将设置为 fp32，其第二个输出将设置为 fp16。
推理阶段的标志
--loadengine=《file》 ：从序列化计划文件加载引擎，而不是从输入 onnx、uff 或 caffe 模型构建引擎。
--batch=《n》 ：指定运行推理的批次大小。仅当输入模型为 uff 或 caffe 格式时才需要。如果输入模型是 onnx 格式，或者引擎是使用显式批量维度构建的，请改用--shapes 。
--shapes=《shapes》 ：指定要运行推理的输入形状。
--warmup=《duration in ms》 ， --duration=《duration in seconds》 ， --iterations=《n》 ： 指定预热运行的最短持续时间、推理运行的最短持续时间和推理运行的迭代。例如，设置--warmup=0 --duration=0 --iterations允许用户准确控制运行推理的迭代次数。
--usecudagraph ：将推理捕获到 cuda 图并通过启动图来运行推理。当构建的 tensorrt 引擎包含 cuda 图捕获模式下不允许的操作时，可以忽略此参数。
--nodatatransfers ：关闭主机到设备和设备到主机的数据传输。
--streams=《n》 ：并行运行多个流的推理。
--verbose ：打开详细日志记录。
--dumpprofile， --exportprofile=《file》 ：打印/保存每层性能配置文件。
关于作者
ken he 是 nvidia 企业级开发者社区经理 & 高级讲师，拥有多年的 gpu 和人工智能开发经验。自 2017 年加入 nvidia 开发者社区以来，完成过上百场培训，帮助上万个开发者了解人工智能和 gpu 编程开发。在计算机视觉，高性能计算领域完成过多个独立项目。并且，在机器人和无人机领域，有过丰富的研发经验。对于图像识别，目标的检测与跟踪完成过多种解决方案。曾经参与 gpu 版气象模式grapes，是其主要研发者。
为什么华人在人工智能领域这么强？
小米华为急了 一加3T才是手机中低调的实力派！
阿里巴巴达摩院发布2021十大科技趋势
为半自动和自动驾驶设计的QuadSight视觉系统
一种简单的显卡安装技巧 还不会阻碍到CPU风扇等配件
NVIDIA TensorRT的命令行程序
2.4G有源智能电子学生卡（SI24R2E应用实例）
松下伺服电机和普通电机之间的区别
如何远程管理windows2003服务器
骨传导巅峰之作：earsopen逸鸥真无线骨传导耳机，成功解决漏音问题
【昉·星光 2 高性能RISC-V单板计算机体验】+搭建编译环境编译
光纤和5G网络谁更快
基于CMM下开关损耗和反激开关损耗分析以及公式计算
取样检波器使用方法及工作原理
基于图数据库的配电网供电范围分析应用研究
基于IPv6的SRv6技术将是未来网络的必然演进趋势
Synergy Research：2019年Q3大型数据中心已超过500个
USB电池充电电路
iPad Pro 10.5英寸京东价格松动 一号店价格更低：4888元
目前全屋智能家电技术发展的怎么样了