使用NVIDIA QAT工具包实现TensorRT量化网络的设计
出身背景
加速深层神经网络（ dnn ）推理是实现实时应用（如图像分类、图像分割、自然语言处理等）延迟关键部署的重要步骤。
改进 dnn 推理延迟的需要引发了人们对以较低精度运行这些模型的兴趣，如 fp16 和 int8 。在 int8 精度下运行 dnn 可以提供比其浮点对应项更快的推理速度和更低的内存占用。 nvidia tensorrt 支持训练后量化（ ptq ）和 qat 技术，将浮点 dnn 模型转换为 int8 精度。
在这篇文章中，我们讨论了这些技术，介绍了用于 tensorflow 的 nvidia qat 工具包，并演示了一个端到端工作流，以设计最适合 tensorrt 部署的量化网络。
量化感知训练
qat 背后的主要思想是通过最小化训练期间的量化误差来模拟低精度行为。为此，可以通过在所需层周围添加量化和去量化（ qdq ）节点来修改 dnn 图。这使得量化网络能够将由于模型量化和超参数的微调而导致的 ptq 精度损失降至最低。
另一方面， ptq 在模型已经训练之后，使用校准数据集执行模型量化。由于量化没有反映在训练过程中，这可能导致精度下降。图 1 显示了这两个过程。
图 1 通过 ptq 和 qat 的量化工作流
用于 tensorflow 的 nvidia qat 工具包
该工具包的目标是使您能够以最适合于 tensorrt 部署的方式轻松量化网络。
目前， tensorflow 在其开源软件 模型优化工具包 中提供非对称量化。他们的量化方法包括在所需层的输出和权重（如果适用）处插入 qdq 节点，并提供完整模型或部分层类类型的量化。这是为 tflite 部署而优化的，而不是 tensorrt 部署。
需要此工具包来获得一个量化模型，该模型非常适合 tensorrt 部署。 tensorrt optimizer 传播 q 和 dq 节点，并通过网络上的浮点操作将它们融合在一起，以最大化 int8 中可以处理的图形比例。这将导致 nvidia gpu 上的最佳模型加速。我们的量化方法包括在所需层的输入和权重（如果适用）处插入 qdq 节点。
我们还执行对称量化（ tensorrt 使用），并通过层名称和 基于模式的层量化 的部分量化提供扩展量化支持。
表 1 总结了 tfmot 和用于 tensorflow 的 nvidia qat 工具包之间的差异。
图2显示了一个简单模型的前/后示例，用 netron 可视化。qdq节点放置在所需层的输入和权重（如适用）中，即卷积（conv）和完全连接（matmul）。
图 2 量化前后的模型示例（分别为基线和 qat 模型）
tensorrt 中部署 qat 模型的工作流
图 3 显示了在 tensorrt 中部署 qat 模型的完整工作流，该模型是通过 qat 工具包获得的。
图 3 tensorrt 使用 qat 工具包获得的 qat 模型的部署工作流
假设预训练的 tensorflow 2 模型为 savedmodel 格式，也称为基线模型。
使用quantize_model功能对该模型进行量化，该功能使用 qdq 节点克隆并包装每个所需的层。
微调获得的量化模型，在训练期间模拟量化，并将其保存为savedmodel格式。
将其转换为 onnx 。
然后， tensorrt 使用 onnx 图来执行层融合和其他图优化，如 专用 qdq 优化 ，并生成一个用于更快推理的引擎。
resnet-50v1 示例
在本例中，我们将向您展示如何使用 tensorflow 2 工具包量化和微调 qat 模型，以及如何在 tensorrt 中部署该量化模型。有关更多信息，请参阅完整的 example_resnet50v1.ipynb jupyter 笔记本。
要求
要跟进，您需要以下资源：
python 3.8
tensorflow 2.8
nvidia tf-qat 工具包
tensorrt 8.4
准备数据
对于本例，使用 imagenet 2012 数据集 进行图像分类（任务 1 ），由于访问协议的条款，需要手动下载。 qat 模型微调需要此数据集，它还用于评估基线和 qat 模型。
登录或注册链接网站，下载列车/验证数据。您应该至少有 155 gb 的可用空间。
工作流支持 tfrecord 格式，因此请使用以下说明（从 tensorflow 说明 ） 转换下载的。将 imagenet 文件转换为所需格式：
set imagenet_home=/path/to/imagenet/tar/files in data/imagenet_data_setup.sh 。
将 imagenet_to_gcs.py 下载到$imagenet_home。
run 。/data/imagenet_data_setup.sh.
您现在应该可以在$imagenet_home中看到兼容的数据集。
量化和微调模型
from tensorflow_quantization import quantize_modelfrom tensorflow_quantization.custom_qdq_cases import resnetv1qdqcase # create baseline modelmodel = tf.keras.applications.resnet50(weights=imagenet, classifier_activation=softmax) # quantize modelq_model = quantize_model(model, custom_qdq_cases=[resnetv1qdqcase()]) # fine-tuneq_model.compile( optimizer=sgd, loss=tf.keras.losses.sparsecategoricalcrossentropy(), metrics=[accuracy])q_model.fit( train_batches, validation_data=val_batches, batch_size=64, steps_per_epoch=500, epochs=2) # save as tf 2 savedmodelq_model.save(“saved_model_qat”) 将 savedmodel 转换为 onnx
$ python -m tf2onnx.convert --saved-model= --output= --opset 13 部署 tensorrt 发动机
将 onnx 模型转换为 tensorrt 引擎（还可以获得延迟测量）：
$ trtexec --onnx= --int8 --saveengine= -v 获取验证数据集的准确性结果：
$ python infer_engine.py --engine= --data_dir= -b= 后果
在本节中，我们报告了 resnet 和 efficientnet 系列中各种型号的准确性和延迟性能数字：
resnet-50v1
resnet-50v2
resnet-101v1
resnet-101v2
效率网 -b0
效率网 -b3
所有结果都是在 nvidia a100 gpu 上获得的，批次大小为 1 ，使用 tensorrt 8.4 （ ea 用于 resnet ， ga 用于 efficientnet ）。
图 4 显示了基线 fp32 模型与其量化等效模型（ ptq 和 qat ）之间的精度比较。正如您所见，基线模型和 qat 模型之间的准确性几乎没有损失。有时，由于模型的进一步整体微调，精度甚至更高。由于 qat 中模型参数的微调， qat 的精度总体上高于 ptq 。
图 4 fp32 （基线）、带 ptq 的 int8 和带 qat 的 int8 中 resnet 和 efficientnet 数据集的准确性
resnet 作为一种网络结构，一般量化稳定，因此 ptq 和 qat 之间的差距很小。然而， efficientnet 从 qat 中获益匪浅，与 ptq 相比，基线模型的准确度损失有所减少。
有关不同模型如何从 qat 中受益的更多信息，请参见 深度学习推理的整数量化：原理与实证评价 （量化白皮书）中的表 7 。
图 5 显示了 ptq 和 qat 具有相似的时间，与各自的基线模型相比，它们引入了高达 19 倍的加速。
图 5 resnet 和 efficientnet 系列中各种模型的延迟性能评估
ptq 有时可能比 qat 略快，因为它试图量化模型中的所有层，这通常会导致更快的推断，而 qat 仅量化用 qdq 节点包裹的层。
有关 tensorrt 如何使用 qdq 节点的更多信息，请参阅 tensorrt 文档中的 使用 int8 和 走向 int8 推理：使用 tensorrt 部署量化感知训练网络的端到端工作流 gtc 会话。
有关各种受支持型号的性能数字的更多信息，请参阅 model zoo 。
结论
在本文中，我们介绍了 tensorflow 2 的 nvidia qat 工具包 。 我们讨论了在 tensorrt 推理加速环境中使用该工具包的优势。然后，我们演示了如何将该工具包与 resnet50 结合使用，并对 resnet 和 efficientnet 数据集执行准确性和延迟评估。
实验结果表明，与 fp32 模型相比，用 qat 训练的 int8 模型的精度相差约 1% ，实现了 19 倍的延迟加速。
关于作者
gwena cunha sergio 在 nvidia 担任深度学习软件工程师。在此之前，她是韩国京浦国立大学的一名博士生，致力于研究基于深度学习的方法，用于嘈杂的自然语言处理任务和从多模态数据生成序列。
sagar shelke 是 nvidia 的深度学习软件工程师，专注于自主驾驶应用程序。他的兴趣包括用于部署和机器学习系统的神经网络优化。萨加尔拥有圣地亚哥州立大学电气和计算机工程硕士学位。
dheeraj peri 在 nvidia 担任深度学习软件工程师。在此之前，他是纽约罗切斯特理工学院的研究生，致力于基于深度学习的内容检索和手写识别方法。 dheeraj 的研究兴趣包括信息检索、图像生成和对抗性机器学习。他获得了印度皮拉尼 birla 理工学院的学士学位。
josh park 是 nvidia 的汽车解决方案架构师经理。到目前为止，他一直在研究使用 dl 框架的深度学习解决方案，例如在 multi-gpus /多节点服务器和嵌入式系统上的 tensorflow 。此外，他一直在评估和改进各种 gpus + x86 _ 64 / aarch64 的训练和推理性能。他在韩国大学获得理学学士和硕士学位，并在德克萨斯农工大学获得计算机科学博士学位
兰州软件园建成基本覆盖全市主次干道的通信管网2900多公里
什么是ai人工智能
研诺逻辑为USB/交流电适配器提供双通道电池充电器IC
电力企业VR安全培训系统通过虚拟现实体验电力安全知识
无人机这个市场怎样
使用NVIDIA QAT工具包实现TensorRT量化网络的设计
车载手持吸尘器方案芯片
分享一个经典的5W电子管放大器的电路图
可穿戴设备的“跨界”神器！微型压电气泵：打造高精度的“腕上血压计”
气体泄漏和烟雾探测器的制作教程
预计2027年全球无刷电机市场规模将达到242亿美元
小米6最新消息：4月底发售
高清视频监控的逐步推广和普及 公共安全水平进一步得到了提升
详解步进电机和伺服电机联系和区别
ITT VEAM正式授权倍捷连接器亚洲工厂组装 VEAM CIR/FRCIR系列连接器
Nexus 6P特别版的金色版本将仅在日本限量发售
天玑9200《原神》实测接近满帧、超低功耗，堪称安卓最强游戏芯
瑞萨电子推出新型高压功率MOSFET产品RJK60S5DPK
5G时代的互联网医疗是什么样子的
MACOM的100G单波长解决方案
加速深层神经网络（ dnn ）推理是实现实时应用（如图像分类、图像分割、自然语言处理等）延迟关键部署的重要步骤。
改进 dnn 推理延迟的需要引发了人们对以较低精度运行这些模型的兴趣，如 fp16 和 int8 。在 int8 精度下运行 dnn 可以提供比其浮点对应项更快的推理速度和更低的内存占用。 nvidia tensorrt 支持训练后量化（ ptq ）和 qat 技术，将浮点 dnn 模型转换为 int8 精度。
在这篇文章中，我们讨论了这些技术，介绍了用于 tensorflow 的 nvidia qat 工具包，并演示了一个端到端工作流，以设计最适合 tensorrt 部署的量化网络。
量化感知训练
qat 背后的主要思想是通过最小化训练期间的量化误差来模拟低精度行为。为此，可以通过在所需层周围添加量化和去量化（ qdq ）节点来修改 dnn 图。这使得量化网络能够将由于模型量化和超参数的微调而导致的 ptq 精度损失降至最低。
另一方面， ptq 在模型已经训练之后，使用校准数据集执行模型量化。由于量化没有反映在训练过程中，这可能导致精度下降。图 1 显示了这两个过程。
图 1 通过 ptq 和 qat 的量化工作流
用于 tensorflow 的 nvidia qat 工具包
该工具包的目标是使您能够以最适合于 tensorrt 部署的方式轻松量化网络。
目前， tensorflow 在其开源软件 模型优化工具包 中提供非对称量化。他们的量化方法包括在所需层的输出和权重（如果适用）处插入 qdq 节点，并提供完整模型或部分层类类型的量化。这是为 tflite 部署而优化的，而不是 tensorrt 部署。
需要此工具包来获得一个量化模型，该模型非常适合 tensorrt 部署。 tensorrt optimizer 传播 q 和 dq 节点，并通过网络上的浮点操作将它们融合在一起，以最大化 int8 中可以处理的图形比例。这将导致 nvidia gpu 上的最佳模型加速。我们的量化方法包括在所需层的输入和权重（如果适用）处插入 qdq 节点。
我们还执行对称量化（ tensorrt 使用），并通过层名称和 基于模式的层量化 的部分量化提供扩展量化支持。
表 1 总结了 tfmot 和用于 tensorflow 的 nvidia qat 工具包之间的差异。
图2显示了一个简单模型的前/后示例，用 netron 可视化。qdq节点放置在所需层的输入和权重（如适用）中，即卷积（conv）和完全连接（matmul）。
图 2 量化前后的模型示例（分别为基线和 qat 模型）
tensorrt 中部署 qat 模型的工作流
图 3 显示了在 tensorrt 中部署 qat 模型的完整工作流，该模型是通过 qat 工具包获得的。
图 3 tensorrt 使用 qat 工具包获得的 qat 模型的部署工作流
假设预训练的 tensorflow 2 模型为 savedmodel 格式，也称为基线模型。
使用quantize_model功能对该模型进行量化，该功能使用 qdq 节点克隆并包装每个所需的层。
微调获得的量化模型，在训练期间模拟量化，并将其保存为savedmodel格式。
将其转换为 onnx 。
然后， tensorrt 使用 onnx 图来执行层融合和其他图优化，如 专用 qdq 优化 ，并生成一个用于更快推理的引擎。
resnet-50v1 示例
在本例中，我们将向您展示如何使用 tensorflow 2 工具包量化和微调 qat 模型，以及如何在 tensorrt 中部署该量化模型。有关更多信息，请参阅完整的 example_resnet50v1.ipynb jupyter 笔记本。
要求
要跟进，您需要以下资源：
python 3.8
tensorflow 2.8
nvidia tf-qat 工具包
tensorrt 8.4
准备数据
对于本例，使用 imagenet 2012 数据集 进行图像分类（任务 1 ），由于访问协议的条款，需要手动下载。 qat 模型微调需要此数据集，它还用于评估基线和 qat 模型。
登录或注册链接网站，下载列车/验证数据。您应该至少有 155 gb 的可用空间。
工作流支持 tfrecord 格式，因此请使用以下说明（从 tensorflow 说明 ） 转换下载的。将 imagenet 文件转换为所需格式：
set imagenet_home=/path/to/imagenet/tar/files in data/imagenet_data_setup.sh 。
将 imagenet_to_gcs.py 下载到$imagenet_home。
run 。/data/imagenet_data_setup.sh.
您现在应该可以在$imagenet_home中看到兼容的数据集。
量化和微调模型
from tensorflow_quantization import quantize_modelfrom tensorflow_quantization.custom_qdq_cases import resnetv1qdqcase # create baseline modelmodel = tf.keras.applications.resnet50(weights=imagenet, classifier_activation=softmax) # quantize modelq_model = quantize_model(model, custom_qdq_cases=[resnetv1qdqcase()]) # fine-tuneq_model.compile( optimizer=sgd, loss=tf.keras.losses.sparsecategoricalcrossentropy(), metrics=[accuracy])q_model.fit( train_batches, validation_data=val_batches, batch_size=64, steps_per_epoch=500, epochs=2) # save as tf 2 savedmodelq_model.save(“saved_model_qat”) 将 savedmodel 转换为 onnx
$ python -m tf2onnx.convert --saved-model= --output= --opset 13 部署 tensorrt 发动机
将 onnx 模型转换为 tensorrt 引擎（还可以获得延迟测量）：
$ trtexec --onnx= --int8 --saveengine= -v 获取验证数据集的准确性结果：
$ python infer_engine.py --engine= --data_dir= -b= 后果
在本节中，我们报告了 resnet 和 efficientnet 系列中各种型号的准确性和延迟性能数字：
resnet-50v1
resnet-50v2
resnet-101v1
resnet-101v2
效率网 -b0
效率网 -b3
所有结果都是在 nvidia a100 gpu 上获得的，批次大小为 1 ，使用 tensorrt 8.4 （ ea 用于 resnet ， ga 用于 efficientnet ）。
图 4 显示了基线 fp32 模型与其量化等效模型（ ptq 和 qat ）之间的精度比较。正如您所见，基线模型和 qat 模型之间的准确性几乎没有损失。有时，由于模型的进一步整体微调，精度甚至更高。由于 qat 中模型参数的微调， qat 的精度总体上高于 ptq 。
图 4 fp32 （基线）、带 ptq 的 int8 和带 qat 的 int8 中 resnet 和 efficientnet 数据集的准确性
resnet 作为一种网络结构，一般量化稳定，因此 ptq 和 qat 之间的差距很小。然而， efficientnet 从 qat 中获益匪浅，与 ptq 相比，基线模型的准确度损失有所减少。
有关不同模型如何从 qat 中受益的更多信息，请参见 深度学习推理的整数量化：原理与实证评价 （量化白皮书）中的表 7 。
图 5 显示了 ptq 和 qat 具有相似的时间，与各自的基线模型相比，它们引入了高达 19 倍的加速。
图 5 resnet 和 efficientnet 系列中各种模型的延迟性能评估
ptq 有时可能比 qat 略快，因为它试图量化模型中的所有层，这通常会导致更快的推断，而 qat 仅量化用 qdq 节点包裹的层。
有关 tensorrt 如何使用 qdq 节点的更多信息，请参阅 tensorrt 文档中的 使用 int8 和 走向 int8 推理：使用 tensorrt 部署量化感知训练网络的端到端工作流 gtc 会话。
有关各种受支持型号的性能数字的更多信息，请参阅 model zoo 。
结论
在本文中，我们介绍了 tensorflow 2 的 nvidia qat 工具包 。 我们讨论了在 tensorrt 推理加速环境中使用该工具包的优势。然后，我们演示了如何将该工具包与 resnet50 结合使用，并对 resnet 和 efficientnet 数据集执行准确性和延迟评估。
实验结果表明，与 fp32 模型相比，用 qat 训练的 int8 模型的精度相差约 1% ，实现了 19 倍的延迟加速。
关于作者
gwena cunha sergio 在 nvidia 担任深度学习软件工程师。在此之前，她是韩国京浦国立大学的一名博士生，致力于研究基于深度学习的方法，用于嘈杂的自然语言处理任务和从多模态数据生成序列。
sagar shelke 是 nvidia 的深度学习软件工程师，专注于自主驾驶应用程序。他的兴趣包括用于部署和机器学习系统的神经网络优化。萨加尔拥有圣地亚哥州立大学电气和计算机工程硕士学位。
dheeraj peri 在 nvidia 担任深度学习软件工程师。在此之前，他是纽约罗切斯特理工学院的研究生，致力于基于深度学习的内容检索和手写识别方法。 dheeraj 的研究兴趣包括信息检索、图像生成和对抗性机器学习。他获得了印度皮拉尼 birla 理工学院的学士学位。
josh park 是 nvidia 的汽车解决方案架构师经理。到目前为止，他一直在研究使用 dl 框架的深度学习解决方案，例如在 multi-gpus /多节点服务器和嵌入式系统上的 tensorflow 。此外，他一直在评估和改进各种 gpus + x86 _ 64 / aarch64 的训练和推理性能。他在韩国大学获得理学学士和硕士学位，并在德克萨斯农工大学获得计算机科学博士学位
兰州软件园建成基本覆盖全市主次干道的通信管网2900多公里
什么是ai人工智能
研诺逻辑为USB/交流电适配器提供双通道电池充电器IC
电力企业VR安全培训系统通过虚拟现实体验电力安全知识
无人机这个市场怎样
使用NVIDIA QAT工具包实现TensorRT量化网络的设计
车载手持吸尘器方案芯片
分享一个经典的5W电子管放大器的电路图
可穿戴设备的“跨界”神器！微型压电气泵：打造高精度的“腕上血压计”
气体泄漏和烟雾探测器的制作教程
预计2027年全球无刷电机市场规模将达到242亿美元
小米6最新消息：4月底发售
高清视频监控的逐步推广和普及 公共安全水平进一步得到了提升
详解步进电机和伺服电机联系和区别
ITT VEAM正式授权倍捷连接器亚洲工厂组装 VEAM CIR/FRCIR系列连接器
Nexus 6P特别版的金色版本将仅在日本限量发售
天玑9200《原神》实测接近满帧、超低功耗，堪称安卓最强游戏芯
瑞萨电子推出新型高压功率MOSFET产品RJK60S5DPK
5G时代的互联网医疗是什么样子的
MACOM的100G单波长解决方案