RZ/A2M DRP实现二维码编码格式的快速检测
在上一篇文章中我们介绍了如何使用rz/a2m和它独有的drp技术实现工业自动化中的目标物体检测与追踪。现在让我们看一下rz/a2m的drp如何实现在8ms时间内检测5中不同编码格式的二维码。
二维码又称二维条码，常见的二维码为qr code，qr全称quick response，是一个近几年来移动设备上非常流行的一种编码方式，它比传统的bar code条形码能存更多的信息，也能表示更多的数据类型。除了这种常见的qr code之外，还有一些其它编码格式的二维码，例如micro qr code， datamatrix， aztec和汉信码等等，因此要求扫码枪能够识别多种不同编码的二维码。 常规的操作是循环调用不同解码器，逐一用不同的解码器进行检测和解码，但导致的问题是解码时间不稳定性与解码时间偏长，如果能够在解码之前快速识别出二维码的编码格式，然后有针对性的调用对应的解码器，则会大大提高解码效率。
瑞萨的rz/a2m微处理器可以利用其独特的动态可配置处理器（drp）完美解决这一问题，实现了1280x720（1百万）摄像头输入时，在8ms时间内完成qr ，micro qr， datamatrix， aztec 和汉信码5种编码格式的快速识别，下面让我们看一下drp是如何实现的。
以下是示例中用到的5种二维码的图例，我们将利用drp的图像处理加速功能识别每种编码格式的特征
我们将通过9个步骤的数据处理，逐步从mipi接口输入的图像数据中提取出我们希望得到的特征标识。
在这9个数据处理环节中，大部分由drp硬件加速模块处理（蓝色），少量过程由cpu进行处理（绿色），在此期间我们可以看到硬件drp处理和软件cpu处理之间的灵活搭配与无缝对接。
步骤1
为了加快图像的处理速度，我们会先载入一个bayer2graythinning的drp加速库将图像的分辨率降采样为原始大小的1/4，同时完成图像格式从bayer到灰度图的转换并统计每帧图像的亮度值，我们会将这个亮度的统计结果反馈给cmos传感器用于调整自动曝光参数。
由于bayer2graythinning库只占用1个tile的drp硬件资源，在此步骤中利用drp的多tile并行处理特性将每一帧1280x768的图像分成6个1280x128的区域，由6个drp处理单元进行并行化处理，这样处理速度可增加为原来的6倍，而且每个处理单元内部的像素级处理也是并行化的。
利用drp的这两个并行化特性，我们可以在0.6ms的时间内完成1帧1280x768分辨率图像的处理，包含0.2ms的drp库载入时间和0.4ms的图像数据处理时间。经过步骤1的处理我们得到一个320x192的灰度图。
步骤2
得到灰度图后我们加载一个binarization_adaptive的drp库，将图像转换为只有0x00和0xff两种颜色的黑白图像。这个drp库可以根据每个8x8像素区域的灰度值平均值动态计算二值化的阈值，这样可以有效解决不同亮度的场景中二值化阈值该如何选择的问题。
我们可以设置二值化转换的参数，控制输出图像以反转方式输出，即二维码图像中黑色部分输出为白色，这样方便下一步对白色部分提取轮廓信息。步骤2的总处理时间是0.9ms左右，包含0.6ms的drp库载入时间和0.3ms的图像数据处理时间。
步骤3
得到二值化图像后我们再载入一个dialte的drp库实现膨胀功能，其基本实现原理如下；
用3x3区块以步长为1像素扫描输入图像
扫描窗口中心点的新数据输出值为3x3范围内的最大值
实现效果：将白色扩展，吞并被包围的黑色区域
可配置迭代次数，次数越多，白色扩展范围越大
经过膨胀处理后的图像中，包含二维码数据的区域基本被联通，形成一个包含整个二维码的大区域。总处理时间是0.4ms左右，包含0.2ms的drp库载入时间和0.2ms的图像数据处理时间。
步骤4
此时我们对膨胀之后的图像调用opencv的findcontour方法，它将得到这一帧图像中所有高亮部分的外轮廓以及每个轮廓的最小外接矩形。我们会逐一判断轮廓的宽高比，面积，位置等信息，筛选出最有可能包含二维码的轮廓。如果条件不匹配则采集下一帧图像。此步骤由cpu实现，时间约为4ms。
图中带有旋转角度的矩形为二维码区域的轮廓，后面我们会将这个旋转的矩形调整为倾角为0度的图形，用于更精细的特征检测。而最小外接矩形的四个顶点坐标将被换算成原始输入图像的坐标，用于从原始图像中裁剪包含二维码的区域。
步骤5
为了保证二维码标识特征提取的精度，我们会从mipi输入buffer中裁剪bayer格式的原始二维码图像。此时我们载入一个bayer2gray_cropping的drp库从mipi buffer进行图像裁剪，裁剪的位置就是步骤4中最小外接矩形4个顶点在mipi buffer中对应的坐标。
这个bayer2gray_cropping只占用1个tile的硬件资源，它具备6个tile并行运行的能力，因此我们会用6个tile的drp并行处理。
此步骤的执行时间约为0.6ms，drp的载入时间为0.25ms，执行时间约为0.35ms
步骤6
下图左侧为裁剪出的带有旋转角度的灰度图，其中4个绿色顶点可以从步骤4的轮廓信息得到。在此步骤中我们由cpu实现一个简易的keystone和缩放功能，将4个绿色顶点中的有效图像映射到右侧的buffer中，这里的梯形校正只是简单抽取或重复原有像素点，不生成新的点，因此属于有损但快速的算法。更精确的算法可用使用drp的仿射变换（affine）功能，但会消耗更多的时间。
步骤7
得到一个无旋转的图像后，我们重复步骤2中的binarization_adaptive处理，得到一个无旋转角度的二值化图像。这一步耗时约0.5ms
步骤8
此时载入findcontour drp库，检测二值化后的二维码图像中所有高丽部分的轮廓，检测结果为图像中蓝色的矩形区域。
findcontour drp库会输出每个轮廓的位置，大小信息。所有的轮廓信息将被保存起来用于下一步的二维码标识检测。此过程总耗时约1.4ms，包含0.4ms的drp库载入时间及1.0ms的处理时间。
步骤9
此时我们已经得到二维码图像中所有轮廓的坐标信息，我们可以很容易的通过轮廓相对于二维码的对应位置，是否是正方形轮廓，是否包含对称的子轮廓，是否包含偏心的子轮廓等信息来判断出qr code， micro qr code， 汉信码，aztec code。
对于datamatrix的检测，我们可以利用drp运行时不消耗cpu负载的特性，在步骤8的drp处理过程中（1ms的drp执行期间）同时由cpu计算图像每行和每列的求和统计，这样可以让drp和cpu的处理也并行起来。
让我们回顾以下以上9个步骤的处理：
我们可以在8ms的时间内完成5种不同编码的二维码类型的检测主要得益于：
加载具有并行化处理能力的drp库
同时加载多个drp库对一帧图像的多个区域同时进行处理
drp处理期间，并行运行cpu运算
硬件drp加速处理与opencv软件处理无缝对接
此时如果将裁剪出来的二维码图像交给后续对应的解码器进行解码，将极大的缩短多类型二维码解码的处理时间。
外媒：PS5暂不支持 U 盘备份存档 仅可云存储
在高端医疗设备中，FRAM有着100%的应用！
模块化UPS电源电池节数错误处理的方法
青海输电通道能力提升工程停电施工阶段，投运后解决光伏发电外送难题
疫情将会如何影响我国5G的建设进程
RZ/A2M DRP实现二维码编码格式的快速检测
技术水准大跃进 中国半导体势力抬头
PM2.5传感器在工业生产环境监测上的应用
GTX1660Ti曝光 将采用新的TU116核心相当于RTX2060的八成
2019款新iPhone将从LCP天线过渡到改良的PI天线
人工智能的时代已经到来，我们的周围，随处可见AI的影子
基于新型三明治结构的MEMS微波功率传感器结构设计
什么是GPS与ITS技术
华为目前是处于怎样的一个状态
英伟达收购Mellanox对中国市场意味着什么？
联瑞40G双光口网络安全网卡推动构建网络空间命运共同体
顶空气体分析仪中应用到的氧气传感器和二氧化碳传感器
大功率高性能PFC+LLC方案|KP2806+KP2591国产方案助力大功率电源设计
中国人工智能专利排名反超美国!
选择红外热像仪需要考虑那几点因素
二维码又称二维条码，常见的二维码为qr code，qr全称quick response，是一个近几年来移动设备上非常流行的一种编码方式，它比传统的bar code条形码能存更多的信息，也能表示更多的数据类型。除了这种常见的qr code之外，还有一些其它编码格式的二维码，例如micro qr code， datamatrix， aztec和汉信码等等，因此要求扫码枪能够识别多种不同编码的二维码。 常规的操作是循环调用不同解码器，逐一用不同的解码器进行检测和解码，但导致的问题是解码时间不稳定性与解码时间偏长，如果能够在解码之前快速识别出二维码的编码格式，然后有针对性的调用对应的解码器，则会大大提高解码效率。
瑞萨的rz/a2m微处理器可以利用其独特的动态可配置处理器（drp）完美解决这一问题，实现了1280x720（1百万）摄像头输入时，在8ms时间内完成qr ，micro qr， datamatrix， aztec 和汉信码5种编码格式的快速识别，下面让我们看一下drp是如何实现的。
以下是示例中用到的5种二维码的图例，我们将利用drp的图像处理加速功能识别每种编码格式的特征
我们将通过9个步骤的数据处理，逐步从mipi接口输入的图像数据中提取出我们希望得到的特征标识。
在这9个数据处理环节中，大部分由drp硬件加速模块处理（蓝色），少量过程由cpu进行处理（绿色），在此期间我们可以看到硬件drp处理和软件cpu处理之间的灵活搭配与无缝对接。
步骤1
为了加快图像的处理速度，我们会先载入一个bayer2graythinning的drp加速库将图像的分辨率降采样为原始大小的1/4，同时完成图像格式从bayer到灰度图的转换并统计每帧图像的亮度值，我们会将这个亮度的统计结果反馈给cmos传感器用于调整自动曝光参数。
由于bayer2graythinning库只占用1个tile的drp硬件资源，在此步骤中利用drp的多tile并行处理特性将每一帧1280x768的图像分成6个1280x128的区域，由6个drp处理单元进行并行化处理，这样处理速度可增加为原来的6倍，而且每个处理单元内部的像素级处理也是并行化的。
利用drp的这两个并行化特性，我们可以在0.6ms的时间内完成1帧1280x768分辨率图像的处理，包含0.2ms的drp库载入时间和0.4ms的图像数据处理时间。经过步骤1的处理我们得到一个320x192的灰度图。
步骤2
得到灰度图后我们加载一个binarization_adaptive的drp库，将图像转换为只有0x00和0xff两种颜色的黑白图像。这个drp库可以根据每个8x8像素区域的灰度值平均值动态计算二值化的阈值，这样可以有效解决不同亮度的场景中二值化阈值该如何选择的问题。
我们可以设置二值化转换的参数，控制输出图像以反转方式输出，即二维码图像中黑色部分输出为白色，这样方便下一步对白色部分提取轮廓信息。步骤2的总处理时间是0.9ms左右，包含0.6ms的drp库载入时间和0.3ms的图像数据处理时间。
步骤3
得到二值化图像后我们再载入一个dialte的drp库实现膨胀功能，其基本实现原理如下；
用3x3区块以步长为1像素扫描输入图像
扫描窗口中心点的新数据输出值为3x3范围内的最大值
实现效果：将白色扩展，吞并被包围的黑色区域
可配置迭代次数，次数越多，白色扩展范围越大
经过膨胀处理后的图像中，包含二维码数据的区域基本被联通，形成一个包含整个二维码的大区域。总处理时间是0.4ms左右，包含0.2ms的drp库载入时间和0.2ms的图像数据处理时间。
步骤4
此时我们对膨胀之后的图像调用opencv的findcontour方法，它将得到这一帧图像中所有高亮部分的外轮廓以及每个轮廓的最小外接矩形。我们会逐一判断轮廓的宽高比，面积，位置等信息，筛选出最有可能包含二维码的轮廓。如果条件不匹配则采集下一帧图像。此步骤由cpu实现，时间约为4ms。
图中带有旋转角度的矩形为二维码区域的轮廓，后面我们会将这个旋转的矩形调整为倾角为0度的图形，用于更精细的特征检测。而最小外接矩形的四个顶点坐标将被换算成原始输入图像的坐标，用于从原始图像中裁剪包含二维码的区域。
步骤5
为了保证二维码标识特征提取的精度，我们会从mipi输入buffer中裁剪bayer格式的原始二维码图像。此时我们载入一个bayer2gray_cropping的drp库从mipi buffer进行图像裁剪，裁剪的位置就是步骤4中最小外接矩形4个顶点在mipi buffer中对应的坐标。
这个bayer2gray_cropping只占用1个tile的硬件资源，它具备6个tile并行运行的能力，因此我们会用6个tile的drp并行处理。
此步骤的执行时间约为0.6ms，drp的载入时间为0.25ms，执行时间约为0.35ms
步骤6
下图左侧为裁剪出的带有旋转角度的灰度图，其中4个绿色顶点可以从步骤4的轮廓信息得到。在此步骤中我们由cpu实现一个简易的keystone和缩放功能，将4个绿色顶点中的有效图像映射到右侧的buffer中，这里的梯形校正只是简单抽取或重复原有像素点，不生成新的点，因此属于有损但快速的算法。更精确的算法可用使用drp的仿射变换（affine）功能，但会消耗更多的时间。
步骤7
得到一个无旋转的图像后，我们重复步骤2中的binarization_adaptive处理，得到一个无旋转角度的二值化图像。这一步耗时约0.5ms
步骤8
此时载入findcontour drp库，检测二值化后的二维码图像中所有高丽部分的轮廓，检测结果为图像中蓝色的矩形区域。
findcontour drp库会输出每个轮廓的位置，大小信息。所有的轮廓信息将被保存起来用于下一步的二维码标识检测。此过程总耗时约1.4ms，包含0.4ms的drp库载入时间及1.0ms的处理时间。
步骤9
此时我们已经得到二维码图像中所有轮廓的坐标信息，我们可以很容易的通过轮廓相对于二维码的对应位置，是否是正方形轮廓，是否包含对称的子轮廓，是否包含偏心的子轮廓等信息来判断出qr code， micro qr code， 汉信码，aztec code。
对于datamatrix的检测，我们可以利用drp运行时不消耗cpu负载的特性，在步骤8的drp处理过程中（1ms的drp执行期间）同时由cpu计算图像每行和每列的求和统计，这样可以让drp和cpu的处理也并行起来。
让我们回顾以下以上9个步骤的处理：
我们可以在8ms的时间内完成5种不同编码的二维码类型的检测主要得益于：
加载具有并行化处理能力的drp库
同时加载多个drp库对一帧图像的多个区域同时进行处理
drp处理期间，并行运行cpu运算
硬件drp加速处理与opencv软件处理无缝对接
此时如果将裁剪出来的二维码图像交给后续对应的解码器进行解码，将极大的缩短多类型二维码解码的处理时间。
外媒：PS5暂不支持 U 盘备份存档 仅可云存储
在高端医疗设备中，FRAM有着100%的应用！
模块化UPS电源电池节数错误处理的方法
青海输电通道能力提升工程停电施工阶段，投运后解决光伏发电外送难题
疫情将会如何影响我国5G的建设进程
RZ/A2M DRP实现二维码编码格式的快速检测
技术水准大跃进 中国半导体势力抬头
PM2.5传感器在工业生产环境监测上的应用
GTX1660Ti曝光 将采用新的TU116核心相当于RTX2060的八成
2019款新iPhone将从LCP天线过渡到改良的PI天线
人工智能的时代已经到来，我们的周围，随处可见AI的影子
基于新型三明治结构的MEMS微波功率传感器结构设计
什么是GPS与ITS技术
华为目前是处于怎样的一个状态
英伟达收购Mellanox对中国市场意味着什么？
联瑞40G双光口网络安全网卡推动构建网络空间命运共同体
顶空气体分析仪中应用到的氧气传感器和二氧化碳传感器
大功率高性能PFC+LLC方案|KP2806+KP2591国产方案助力大功率电源设计
中国人工智能专利排名反超美国!
选择红外热像仪需要考虑那几点因素