OpenVINO™ 中用于推理优化的自适应参数选择功能介绍
本文简介
当你使用 ai 模型进行推理时，往往需要设置一些参数与选项，相应地，openvino 工具套件为此提供了一些自动设定参数选项的功能。本文主要介绍 openvino 中与模型推理相关的3个功能，它们分别是：
用于 input 数据足够多时，提供最大 throughput 的 auto-batching 功能；
用于自动选择设备进行推理的 auto plugin 功能；
以及用于满足特定模型动态输入的 dynamic shape 功能。
本文将逐一介绍这三个实用的功能，并在文末给出这三功能的优缺点总结对比。
功能介绍
auto-batching
auto-batching 设计目的是让开发者利用最少的代码去实现使用英特尔 显卡做模型推理的数据吞吐量最大化。在没有设定 input 以及没有限制范围的情况下，它会按照集成显卡或者是独立显卡能承受的最大吞吐量去设定推理线程数。如果应用程序有大量的输入数据且以高频率连续提交推理请求，推荐使用 auto-batching 功能。
该功能通过几行代码实现了最多推理线程的响应，同时也不会对原先的示例代码造成影响。如果在推理设备设置中，将“device“参数设置为：“batch:gpu“ 该功能将会被激活。例如，在 benchmark_app 应用使用 auto-batching 的方式如下：
$benchmark_app -hint none -d batch:gpu -m ‘path to your favorite model’
向右滑动查看完整代码
另外一种方法是：在 gpu 推理时，选择性能模式为”throughput”，该功能将会被自动触发。所以在示例代码中添加如下两行，即可在 gpu 进行推理时，启动 auto-batching 功能：
config = {performance_hint: throughput} compiled_model = core.compile_model(model, gpu, config)
向右滑动查看完整代码
无论是通过设置 batch:gpu，还是选择”throughput”的推理模式，推理的 batch size 值都会自动进行选取。选取的方式是查询当前设备的 ov::optimal_batch_size 属性并且通过模型拓扑结构的输入端获取 batch size 的值作为模型推理的 batch size 值。
接下来，是使用 benchmark app 做的对比实验：
图1：disable auto-batching
图2：enable auto-batching
通过对比 auto-batching 功能开闭的推理结果图，可以看到当此功能开启的时候：即使推理设备选择的是集成显卡，推理线程数仍旧被推上了128个，说明此功能确实会尝试使用当前状态下压力最大的推理线程数，来达到推理最大的吞吐量。但是结果是当推理性能有限的集成显卡启动了128个线程的时候，整体的 throughput 的数值比单推理线程的 throughput 要低一些，所以当硬件推理性能有限时，需要对推理线程数进行限定。同样，在 auto-batching 中限定推理线程有两种方式分别为，设置 batch: gpu (4)或设置 ov::num_requests 参数可以将推理线程设为4：
auto compiled_model = core.compile_model(model, gpu, ov::throughput), ov::num_requests(4));
向右滑动查看完整代码
auto-batching 中内置了 auto_batch_timeout 参数，该参数用于监测输入数据送达的时延，初始值为1000，表示若1000毫秒后无数据输入则提示推理超时。注意，如果推理频率较低，或者根据 auto_batch_timeout 参数发现推理超时，可以手动关闭 auto-batching：
// disabling the automatic batching auto compiled_model = core.compile_model(model, gpu, ov::throughput), ov::allow_auto_batching(false));
向右滑动查看完整代码
auto plugin
在 openvino 工具套件的推理插件（plugin）选择上，除了常规的 cpu，igpu，myriad，您还可以选择使用 auto plugin。开发者通过它快速部署 ai 示例用于实验，且不用考虑推理设备的选择就能获得一个不错的推理性能。不需要指定设备，它会自动配置推理硬件，当有多个设备时，它也会自动联合调用多个硬件进行推理。
auto plugin 的工作流程是：首先，检测当前环境下所有的可用设备，之后根据预制的硬件选择规则，选择相应的推理设备，并且优化推理的整体配置，最后执行 ai 推理。auto plugin 对于推理设备选择遵循以下的规则：
dgpu (e.g. intel iris xe max) ->
igpu (e.g. intel uhd graphics 620 (igpu)) ->
intel movidius myriad x vpu(e.g. intel neural compute stick 2 (intel ncs2)) ->
intel cpu (e.g. intel core i7-1165g7)
#常规用法： compiled_model = core.compile_model(model=model, device_name=auto) #您可以限定设备使用auto plugin： compiled_model = core.compile_model(model=model, device_name=auto:gpu，cpu) #您也可以剔除使用auto plugin的设备： compiled_model = core.compile_model(model=model, device_name=auto:-cpu)
向右滑动查看完整代码
auto plugin 内置有三个模式可供选择:
1.throughput
默认模式。该模式优先考虑高吞吐量，在延迟和功率之间进行平衡，最适合于涉及多个任务的推理，例如推理视频源或大量图像。注：此模式只会对 cpu 与 gpu 进行调用。若该模式下调用gpu进行推理，将会自动触发“auto-batching“功能。
compiled_model = core.compile_model(model=model, device_name=auto, config={performance_hint:throughput})
向右滑动查看完整代码
2.latency
此选项优先考虑低延迟，为每个推理任务提供比较短的响应时间。它对于需要对单个输入图像进行推断的任务（例如超声扫描图像的医学分析）。此外，它还适用于实时或接近实时应用的任务，例如工业机器人对其环境中动作的响应或自动驾驶车辆的避障。注：此模式只会对 cpu 与 gpu 进行调用。
compiled_modecompiled_model = core.compile_model(model=model, device_name=auto, config={performance_hint:latency})compiled_mode = core.compile_model(model, auto, ov:: cumulative_throughput)); l = core.compile_model(model=model, device_name=auto, config={performance_hint:latency})
向右滑动查看完整代码
3.cumulative_throughput
cumultive_throughput 模式允许同时在多个设备上运行推理以获得更高的吞吐量。
使用 cumultive_throughput 模式时，auto plugin 将网络模型加载到候选列表中的所有可用设备，然后根据默认的优先级载入设备运行推理。
compiled_mode = core.compile_model(model, auto, ov:: cumulative_throughput));
向右滑动查看完整代码
注意：如果指定了没有任何设备名称的 auto，并且系统有两个以上的 gpu 设备，则 auto 将从设备候选列表中删除 cpu，以保持 gpu 以满容量运行。如果指定了设备优先级，auto 将根据优先级在设备上运行推理请求。
dynamic shape
模型的动态输入对于某些领域十分重要，比如说在自然语言处理(nlp)中就需要实时对语句进行分割，所以模型的输入是实时变化的，又比如在图像识别中，分割块的形状大小也会根据目标的大小实时变动。对于分割之后的图像来说，进行 resize 操作往往会破坏它的特征属性，导致在后期推理中造成推理准确性降低。动态形状输入功能的引入使得一些基于图像识别的模型，运行结果的准确度提高。使用 dynamic shape 功能能够更好地保留图像的特征，根据输入图像的大小，动态调节模型输入，最终模型推理的准确率获得了提升。
在2022.1以前的 openvino 版本中，使用 wpod-net （github - sergiomsilva/alpr-unconstrained: license plate detection and recognition in unconstrained scenarios）：
地址（复制到浏览器打开）
https://github.com/sergiomsilva/alpr-unconstrained
模型进行车牌识别，如果出现动态形态输入的话，在 mo 转换时就会报错，必须强制转成静态输入，例如：
python3 $intel_openvino_dir/deployment_tools/model_optimizer/mo_tf. py --data_type=fp32 --saved_model_dir=./data/lpdetector/tf2/models/saved_model/ --model_name=wpod-net -- reverse_input_channels --input_shape [1,416,416,3] -- output_dir=./data/lpdetector/tf2/models/saved_model/fp32_416
向右滑动查看完整代码
这会导致该模型在特定的例子下识别精度降低：
图例：输入图像resize 为固定尺寸后进行模型推理
由于模型被强制转成了静态输入，可以很明显的发现输入的图像被被强制resize到了（416，416），图像分割的错误，最后导致了最后车牌识别的结果是不正确的。
在2022.1以后的 openvino 版本中，mo 支持了 dynamic shape 的功能，故使用新版本 openvino 工具套件中的模型优化器进行模型转换：
mo --saved_model_dir ./data/lpdetector/tf2/models/saved_model/ -- output_dir ./data/lpdetector/tf2/models/fp32/
向右滑动查看完整代码
在生成的 xml 文件中，可以开到 input shape 被识别为动态输入，动态参数以“？”或“-1”进行显示：
-1 -1 -1 3
向右滑动查看完整代码
使用包含动态输入的模型进行试验，实验结果如下：
图例：模型使用动态输入进行推理
通过 wpod-net 的内置算法，计算得到合适的 resize 长和宽（1232x608），将图片 resize 至1232x608，分割到的车牌是清晰完整且最终车牌号码识别是正确的。
模型的动态输入在这个例子中显得十分重要，因为动态输入的支持使得模型推理识别的精度更加准确了。如果模型优化器没有识别到模型的动态输入参数，您可以在代码中手动指定 dynamic shape：
core = ov.core() model = core.read_model(model.xml) # set one static dimension (= 1) and another dynamic dimension (= dimension()) model.reshape([1, ov.dimension()])
向右滑动查看完整代码
您也可以指定动态输入的动态范围：
# both dimensions are dynamic, first has a size within 1..10 and the second has a size within 8..512 model.reshape([ov.dimension(1, 10), ov.dimension(8, 512)])
向右滑动查看完整代码
由于您的输入图像是动态的，所以说您在初始化 input tensor 的时候，根据需要进行设定，您可以手动对每一个推理 tensor 进行指定：
# get the tensor, shape is not initialized input_tensor = infer_request.get_input_tensor() # set shape is required input_tensor.shape = [1, 128] input_tensor.shape = [1, 200]
向右滑动查看完整代码
当然,也可以通过模型的 input layer 进行指定：
input_tensor = np.expand_dims(image_resized, 0) results = compiled_model.infer_new_request({0: input_tensor})
向右滑动查看完整代码
总结
针对不同模型推理场景下, auto-batching 能够自动给予设备最大压力达到最大吞吐量；auto plugin 能够自动选择推理设备；dynamic shape 能供根据输入图像动态调整模型的 input shape 大小。这些功能都依据开发者的需求，在进行模型推理时，帮助住开发者自动完成相应的配置，对开发 openvino 的示例应用进行辅助。
不过这些功能在使用时,也有一些注意事项需要知晓,请您在使用这些功能之前,了解每个功能的局限性以及每个功能正确的用法。
openvino 工具套件下载地址:
https://www.intel.cn/content/www/cn/zh/developer/tools/openvino-toolkit/download.html
openvino 使用文档:
https://docs.openvino.ai/latest/
从裸机调度过渡到RTOS的注意事项
电子产品主板点胶是怎么回事,为什么手机数码产品芯片需要点胶?
浪涌保护器和电涌是什么，浪涌保护器的作用
薄膜表面瑕疵检测仪的检测原理以及优势说明
笔记本电脑的LVDS图形切换
OpenVINO™ 中用于推理优化的自适应参数选择功能介绍
GTC23 | China AI Day 定档 3 月 22 日，11 位嘉宾阵容全公布！
法拉第未来回应被纳斯达克要求退市
基于ESD保护器件的便携设备应用
STM32固件库详解 （转载）
选择温度传感器，不再顾虑重重——SGM457
OPPO可能在12月发布有超大杯机型
都是8GB运存!一加5和努比亚Z17哪个比较好?一加5和努比亚Z17区别对比评测
什么是SLAM？SLAM算法实现的4要素
S3C2410设计的无线数据采集系统
农作物叶片养分检测仪的产品介绍
TCL宣布t6、t7屋顶分布式光伏发电项目并网投产
电动机应用变频技术有什么好处
下一个万亿级市场,什么是“泛在电力物联网”?
2020十佳5G行业应用实践揭晓
当你使用 ai 模型进行推理时，往往需要设置一些参数与选项，相应地，openvino 工具套件为此提供了一些自动设定参数选项的功能。本文主要介绍 openvino 中与模型推理相关的3个功能，它们分别是：
用于 input 数据足够多时，提供最大 throughput 的 auto-batching 功能；
用于自动选择设备进行推理的 auto plugin 功能；
以及用于满足特定模型动态输入的 dynamic shape 功能。
本文将逐一介绍这三个实用的功能，并在文末给出这三功能的优缺点总结对比。
功能介绍
auto-batching
auto-batching 设计目的是让开发者利用最少的代码去实现使用英特尔 显卡做模型推理的数据吞吐量最大化。在没有设定 input 以及没有限制范围的情况下，它会按照集成显卡或者是独立显卡能承受的最大吞吐量去设定推理线程数。如果应用程序有大量的输入数据且以高频率连续提交推理请求，推荐使用 auto-batching 功能。
该功能通过几行代码实现了最多推理线程的响应，同时也不会对原先的示例代码造成影响。如果在推理设备设置中，将“device“参数设置为：“batch:gpu“ 该功能将会被激活。例如，在 benchmark_app 应用使用 auto-batching 的方式如下：
$benchmark_app -hint none -d batch:gpu -m ‘path to your favorite model’
向右滑动查看完整代码
另外一种方法是：在 gpu 推理时，选择性能模式为”throughput”，该功能将会被自动触发。所以在示例代码中添加如下两行，即可在 gpu 进行推理时，启动 auto-batching 功能：
config = {performance_hint: throughput} compiled_model = core.compile_model(model, gpu, config)
向右滑动查看完整代码
无论是通过设置 batch:gpu，还是选择”throughput”的推理模式，推理的 batch size 值都会自动进行选取。选取的方式是查询当前设备的 ov::optimal_batch_size 属性并且通过模型拓扑结构的输入端获取 batch size 的值作为模型推理的 batch size 值。
接下来，是使用 benchmark app 做的对比实验：
图1：disable auto-batching
图2：enable auto-batching
通过对比 auto-batching 功能开闭的推理结果图，可以看到当此功能开启的时候：即使推理设备选择的是集成显卡，推理线程数仍旧被推上了128个，说明此功能确实会尝试使用当前状态下压力最大的推理线程数，来达到推理最大的吞吐量。但是结果是当推理性能有限的集成显卡启动了128个线程的时候，整体的 throughput 的数值比单推理线程的 throughput 要低一些，所以当硬件推理性能有限时，需要对推理线程数进行限定。同样，在 auto-batching 中限定推理线程有两种方式分别为，设置 batch: gpu (4)或设置 ov::num_requests 参数可以将推理线程设为4：
auto compiled_model = core.compile_model(model, gpu, ov::throughput), ov::num_requests(4));
向右滑动查看完整代码
auto-batching 中内置了 auto_batch_timeout 参数，该参数用于监测输入数据送达的时延，初始值为1000，表示若1000毫秒后无数据输入则提示推理超时。注意，如果推理频率较低，或者根据 auto_batch_timeout 参数发现推理超时，可以手动关闭 auto-batching：
// disabling the automatic batching auto compiled_model = core.compile_model(model, gpu, ov::throughput), ov::allow_auto_batching(false));
向右滑动查看完整代码
auto plugin
在 openvino 工具套件的推理插件（plugin）选择上，除了常规的 cpu，igpu，myriad，您还可以选择使用 auto plugin。开发者通过它快速部署 ai 示例用于实验，且不用考虑推理设备的选择就能获得一个不错的推理性能。不需要指定设备，它会自动配置推理硬件，当有多个设备时，它也会自动联合调用多个硬件进行推理。
auto plugin 的工作流程是：首先，检测当前环境下所有的可用设备，之后根据预制的硬件选择规则，选择相应的推理设备，并且优化推理的整体配置，最后执行 ai 推理。auto plugin 对于推理设备选择遵循以下的规则：
dgpu (e.g. intel iris xe max) ->
igpu (e.g. intel uhd graphics 620 (igpu)) ->
intel movidius myriad x vpu(e.g. intel neural compute stick 2 (intel ncs2)) ->
intel cpu (e.g. intel core i7-1165g7)
#常规用法： compiled_model = core.compile_model(model=model, device_name=auto) #您可以限定设备使用auto plugin： compiled_model = core.compile_model(model=model, device_name=auto:gpu，cpu) #您也可以剔除使用auto plugin的设备： compiled_model = core.compile_model(model=model, device_name=auto:-cpu)
向右滑动查看完整代码
auto plugin 内置有三个模式可供选择:
1.throughput
默认模式。该模式优先考虑高吞吐量，在延迟和功率之间进行平衡，最适合于涉及多个任务的推理，例如推理视频源或大量图像。注：此模式只会对 cpu 与 gpu 进行调用。若该模式下调用gpu进行推理，将会自动触发“auto-batching“功能。
compiled_model = core.compile_model(model=model, device_name=auto, config={performance_hint:throughput})
向右滑动查看完整代码
2.latency
此选项优先考虑低延迟，为每个推理任务提供比较短的响应时间。它对于需要对单个输入图像进行推断的任务（例如超声扫描图像的医学分析）。此外，它还适用于实时或接近实时应用的任务，例如工业机器人对其环境中动作的响应或自动驾驶车辆的避障。注：此模式只会对 cpu 与 gpu 进行调用。
compiled_modecompiled_model = core.compile_model(model=model, device_name=auto, config={performance_hint:latency})compiled_mode = core.compile_model(model, auto, ov:: cumulative_throughput)); l = core.compile_model(model=model, device_name=auto, config={performance_hint:latency})
向右滑动查看完整代码
3.cumulative_throughput
cumultive_throughput 模式允许同时在多个设备上运行推理以获得更高的吞吐量。
使用 cumultive_throughput 模式时，auto plugin 将网络模型加载到候选列表中的所有可用设备，然后根据默认的优先级载入设备运行推理。
compiled_mode = core.compile_model(model, auto, ov:: cumulative_throughput));
向右滑动查看完整代码
注意：如果指定了没有任何设备名称的 auto，并且系统有两个以上的 gpu 设备，则 auto 将从设备候选列表中删除 cpu，以保持 gpu 以满容量运行。如果指定了设备优先级，auto 将根据优先级在设备上运行推理请求。
dynamic shape
模型的动态输入对于某些领域十分重要，比如说在自然语言处理(nlp)中就需要实时对语句进行分割，所以模型的输入是实时变化的，又比如在图像识别中，分割块的形状大小也会根据目标的大小实时变动。对于分割之后的图像来说，进行 resize 操作往往会破坏它的特征属性，导致在后期推理中造成推理准确性降低。动态形状输入功能的引入使得一些基于图像识别的模型，运行结果的准确度提高。使用 dynamic shape 功能能够更好地保留图像的特征，根据输入图像的大小，动态调节模型输入，最终模型推理的准确率获得了提升。
在2022.1以前的 openvino 版本中，使用 wpod-net （github - sergiomsilva/alpr-unconstrained: license plate detection and recognition in unconstrained scenarios）：
地址（复制到浏览器打开）
https://github.com/sergiomsilva/alpr-unconstrained
模型进行车牌识别，如果出现动态形态输入的话，在 mo 转换时就会报错，必须强制转成静态输入，例如：
python3 $intel_openvino_dir/deployment_tools/model_optimizer/mo_tf. py --data_type=fp32 --saved_model_dir=./data/lpdetector/tf2/models/saved_model/ --model_name=wpod-net -- reverse_input_channels --input_shape [1,416,416,3] -- output_dir=./data/lpdetector/tf2/models/saved_model/fp32_416
向右滑动查看完整代码
这会导致该模型在特定的例子下识别精度降低：
图例：输入图像resize 为固定尺寸后进行模型推理
由于模型被强制转成了静态输入，可以很明显的发现输入的图像被被强制resize到了（416，416），图像分割的错误，最后导致了最后车牌识别的结果是不正确的。
在2022.1以后的 openvino 版本中，mo 支持了 dynamic shape 的功能，故使用新版本 openvino 工具套件中的模型优化器进行模型转换：
mo --saved_model_dir ./data/lpdetector/tf2/models/saved_model/ -- output_dir ./data/lpdetector/tf2/models/fp32/
向右滑动查看完整代码
在生成的 xml 文件中，可以开到 input shape 被识别为动态输入，动态参数以“？”或“-1”进行显示：
-1 -1 -1 3
向右滑动查看完整代码
使用包含动态输入的模型进行试验，实验结果如下：
图例：模型使用动态输入进行推理
通过 wpod-net 的内置算法，计算得到合适的 resize 长和宽（1232x608），将图片 resize 至1232x608，分割到的车牌是清晰完整且最终车牌号码识别是正确的。
模型的动态输入在这个例子中显得十分重要，因为动态输入的支持使得模型推理识别的精度更加准确了。如果模型优化器没有识别到模型的动态输入参数，您可以在代码中手动指定 dynamic shape：
core = ov.core() model = core.read_model(model.xml) # set one static dimension (= 1) and another dynamic dimension (= dimension()) model.reshape([1, ov.dimension()])
向右滑动查看完整代码
您也可以指定动态输入的动态范围：
# both dimensions are dynamic, first has a size within 1..10 and the second has a size within 8..512 model.reshape([ov.dimension(1, 10), ov.dimension(8, 512)])
向右滑动查看完整代码
由于您的输入图像是动态的，所以说您在初始化 input tensor 的时候，根据需要进行设定，您可以手动对每一个推理 tensor 进行指定：
# get the tensor, shape is not initialized input_tensor = infer_request.get_input_tensor() # set shape is required input_tensor.shape = [1, 128] input_tensor.shape = [1, 200]
向右滑动查看完整代码
当然,也可以通过模型的 input layer 进行指定：
input_tensor = np.expand_dims(image_resized, 0) results = compiled_model.infer_new_request({0: input_tensor})
向右滑动查看完整代码
总结
针对不同模型推理场景下, auto-batching 能够自动给予设备最大压力达到最大吞吐量；auto plugin 能够自动选择推理设备；dynamic shape 能供根据输入图像动态调整模型的 input shape 大小。这些功能都依据开发者的需求，在进行模型推理时，帮助住开发者自动完成相应的配置，对开发 openvino 的示例应用进行辅助。
不过这些功能在使用时,也有一些注意事项需要知晓,请您在使用这些功能之前,了解每个功能的局限性以及每个功能正确的用法。
openvino 工具套件下载地址:
https://www.intel.cn/content/www/cn/zh/developer/tools/openvino-toolkit/download.html
openvino 使用文档:
https://docs.openvino.ai/latest/
从裸机调度过渡到RTOS的注意事项
电子产品主板点胶是怎么回事,为什么手机数码产品芯片需要点胶?
浪涌保护器和电涌是什么，浪涌保护器的作用
薄膜表面瑕疵检测仪的检测原理以及优势说明
笔记本电脑的LVDS图形切换
OpenVINO™ 中用于推理优化的自适应参数选择功能介绍
GTC23 | China AI Day 定档 3 月 22 日，11 位嘉宾阵容全公布！
法拉第未来回应被纳斯达克要求退市
基于ESD保护器件的便携设备应用
STM32固件库详解 （转载）
选择温度传感器，不再顾虑重重——SGM457
OPPO可能在12月发布有超大杯机型
都是8GB运存!一加5和努比亚Z17哪个比较好?一加5和努比亚Z17区别对比评测
什么是SLAM？SLAM算法实现的4要素
S3C2410设计的无线数据采集系统
农作物叶片养分检测仪的产品介绍
TCL宣布t6、t7屋顶分布式光伏发电项目并网投产
电动机应用变频技术有什么好处
下一个万亿级市场,什么是“泛在电力物联网”?
2020十佳5G行业应用实践揭晓