视频解码器在监督检查中的基础知识
视频检测系统用于许多商业和工业过程。摄像机（从廉价的低清晰度黑白闭路电视 （cctv） 系统到最先进的高清数字视频系统中的摄像机，用于从产品检测到交通监控再到实时人脸识别的各种应用。
视频固有地携带大量数据，这可能会使信号处理和数据存储任务复杂化。视频检测通常可以通过裁剪无用的信息并仅传递图片的基本部分来简化，从而节省内存和计算周期。图1显示了典型系统的元件。
图1.简化的视频检测数据流。
本文展示了几个示例，说明提取有用数据如何最大限度地减少处理、存储器大小和dsp使用，并说明adi公司视频解码器的特殊功能如何简化视频算法并加快视频检测系统的开发。
例 1.计数和检查对象
想象一下，一条宽阔的传送带包含许多快速移动的产品。大量的产品使手动盘点变得困难。除了自动执行计数任务外，还可以使用相机来监控产品质量。这可以通过修改简单计数算法以专注于特定细节和工件来实现。
存储所有视频数据需要大量的内存，处理大量数据在硬件和功率方面会花费很多。该系统不是在内存中收集整个图片，而是可以在一堆数据中找到有趣的细节，并在检查传送带上的产品时尽可能多地丢弃无用的数据。
在大多数情况下，灰度图片可以携带足够的信息。因此，可以通过将rgb信号转换为y（仅亮度）来删除色度信息。然后，可以使用边缘检测来检查生成的单色图片的内容，以查找传送带上的产品，并将其形状与模板进行比较，以确定产品是否畸形。
边缘检测算法只需要几行活动视频和少量内存，通过计算活动图像的第一和二阶导数来发现相邻像素亮度的不连续性，如bernd jähne的数字图像处理中所述。在实践中，边缘检测可以通过使用矩阵计算（例如 sobel 矩阵运算符）提取信息来实现。在fpga（现场可编程门阵列）实现中，以像素为基础执行此操作可提供令人满意的结果。一个简单的fpga实现在tanvir a. abbasi和mohm的“sobel边缘检测操作员的基于fpga的架构”中进行了展示。美国赛义德·阿巴西。噪声可以通过添加高斯2d滤波器来消除，如mathukumar venkatesan和daggu venkateshwar rao的“fpga边缘检测算法的硬件加速”中所述，它描述了类似于canny边缘检测器的探测器的成功实现。
其他几种优化算法可以提高图像质量，但都在fpga设计中占据了相当大的空间。但是，一些集成电路（ic）视频解码器已经配备了有用的预处理算法或滤波器;因此，选择其中之一将节省fpga中的空间。例如，adv7802视频解码器包括亮度瞬态改善（lti）和色度瞬态改善（cti）模块。这些模块通过改善亮度和色度转换的陡度来增强生成的图像，使用自适应峰值和非线性方法，而不会增加噪声或引入伪影，并且在边缘检测过程中非常有用。此外，亮度整形和其他内置输入滤波器可以消除源头的高频噪声，专注于信号，忽略偶然噪声。
图2.lti/cti 操作图。
边缘检测提供有关对象边缘过渡的信息，而不是对象的全貌。这种从每像素 3 位 × 8 位 （bpp） 到 1 bpp 的减少节省了大量内存：
640 像素 × 480 像素 = 307，200 位（1 bpp）
800 像素 × 600 像素 = 480，000 位（1 bpp）
1024 像素 × 768 像素 = 786，432 位（1 bpp）
1280 像素 × 720 像素 = 921，600 位（1 bpp）
通过将rgb转换为y，在内存中仅存储几行活动视频，并使用fpga算法，我们可以检测物体并查看其形状。一旦知道它们在移动传送带上的位置，我们就可以估计它们的运动并从下一帧中收集颜色或其他信息，同时确保使用最少量的内存。该过程涉及
边缘检测
存储信息
预测下一个位置 xn+1
在产品应该存在的区域提取信息。
例 2.检测运动和质量
机器人正在特定距离和有限范围内寻找物品。超声波可用于某些应用;但是，如果表面吸收超声波或物品在玻璃后面，则可以使用视频。相机设置为对焦于附近的物体。窄范围内的项目将具有锐利的边缘，但超出该范围的背景项目具有模糊的边缘（图 3）。
图3.对焦 - 景深较窄。
边缘检测可用于区分目标范围内的物品，因为这些是唯一具有锋利边缘的物品。背景中的项目将足够模糊，无法通过边缘检测测试。处理将生成二进制位图，其中 1 表示检测到边缘，0 表示未检测到边缘。每个检测到的边缘像素的位置（x，y）可用于使用公式1近似隔离物体的中间：
(1)
哪里xn是边缘像素的 x 位置，n; yn是边缘像素 n 的 y 位置;n 是检测到的边缘像素数。
一旦知道物体及其边缘的位置，我们就可以尝试追踪它。关键是从图片中精确提取一个对象，将其边缘转换为轮廓，该轮廓可用于通过检查像素与对象中间的平均距离来确定项目是否正在向相机移动，以查看对象的大小是否在变化，如公式2所示：
(2)
n 是 frame 中的边缘像素数;m 是 frame–1 中的边缘像素数。
关注水平轴可得出公式3：
(3)
当对象向相机移动（像素从对象中间扩散）时，此等式的值将为正数。负值表示物体正在远离相机，如图4所示。
图4.移动物体的帧更改。
请注意，物体必须在相机的对焦范围内。通过修改算法，我们可以主动改变焦点以扫描更广泛的区域。一旦检测到对象，就可以对其进行分割、处理和跟踪。
随着视频复杂性的增加，跟踪对象变得更加困难，尤其是对于带纹理的对象和因快速移动而失去清晰度的对象。一些跟踪算法在施建波的“好的跟踪功能”中展示。当物体失去清晰度时，边缘检测会失败。跟踪仍然可以通过使用复杂的相关技术来完成，例如块匹配（用于估计运动）或 yao wang、jörn ostermann 和 ya-qin zhang（在“视频处理和通信”中详述的其他方法）。
由于来自相机的连续数据流，可以跟踪物体以确定其加速度和其他参数。但是，必须使用高质量的视频序列才能获得良好的视频分析结果。通过分析相邻像素检测边缘时，如果使用逐行扫描视频而不是低质量的隔行扫描pal或ntsc信号，分辨率会更好。adv7401和adv7403视频解码器接受各种视频标准，包括逐行模式。它们能够数字化高达 140 mhz 的视频信号，可以处理标清、ed和高清分量信号、cvbs 和图形。此外，它们支持非标准视频模式，允许使用不太流行的标准，例如 stanag。灵活的像素输出总线允许以 4：2：2、4：4：4 ycbcr 或 4：4：4 rgb 格式进行数据处理。非标准视频格式可以过采样或欠采样以获得给定的水平宽度，如 an-0978 “组件处理器非标准视频格式”中所述。
内置色彩空间转换器（csc），如图5所示，可转换色彩空间以满足用户要求（公式4，其中a1...答4， b1...b4， c1...c4 是可调的 csc 参数）。yprpb 或 rgb 输入信号可以使用可配置的矩阵转换转换为其他格式。例如，将rgb转换为ycbcr可以丢弃色度信息（cb，cr），从而简化单色图片的边缘检测。
(4)
图5.单csc通道（adv7403）。
csc 非常有用。通过rgb或ycbcr输入，可以使用颜色空间矩阵简单地转换颜色信息。图 6 显示了类似于 ycbcr 的 yuv 颜色空间。
图6.产品质量评估中的 yuv 色彩空间可用于检测（例如）产品何时燃烧或发霉。y（亮度）是恒定的。
如图6所示，颜色（或yprpb值）可以帮助检测产品的质量，例如，是烧焦还是发霉。色彩空间转换在视频处理和与使用其他标准的ic接口时是必要的。adv7401/adv7403内置一个输入多路复用器，可轻松切换视频源，这是从停止传送带切换到工作传送带时非常有用的功能。
例 3.调整视频检测的白平衡和色彩平衡
开发从图片中提取物体的视频系统需要付出巨大的努力，因为光线角度或强度的简单变化会影响检测结果。视频工程师可以使用adv7401/adv7403增益和失调调整，通过在传送带上添加两条小参考条纹（一条深色，一条亮）来调整亮度和对比度。调整adv7401/adv7403的失调和增益以获得相当的值，从而使系统能够补偿光色、角度和强度的变化。
图7.将小的参考条纹添加到可见区域
调整适当白平衡的算法可以非常简单。首先，获取条纹的参考 rgb（或 ycbcr）值。然后，要补偿光线，只需更改偏移和增益即可获得与基准相同的值。此算法可用于：
获取深色条纹的 rgb（或 ycbcr）值。
调整偏移量以匹配深色条纹的所需 rgb（或 ycbcr）值。
获取光条的 rgb（或 ycbcr）值
调整增益以匹配所需的光条rgb（或ycbcr）值。
要提高准确性，请重复步骤 2 和 4。
此过程在系统开发期间特别有用，因为它提供了正确的偏移（亮度）和增益（对比度），即使光线太强或太弱，如图8所示。失调和增益寄存器可通过 i2c 总线获得，允许快速调整。
图8.调整失调和增益以补偿环境照明的变化。
颜色也可用于参考条纹。这种补偿类似于广泛使用的白平衡，但白平衡与人类的感知相匹配，而色彩校正是为了补偿由于不同照明引起的变化。尽管算法类似，但额外的偏移会导致深色看起来不自然。adv7401/adv7403色彩空间转换、灵活的输出像素端口以及失调和增益调整寄存器使工程师能够使用已准备好处理的数据快速开发算法。如前所述，如果简单视频不需要高级算法，请务必减少视频处理所需的数据量并避免使用高级算法。adv7401/adv7403的评估板具有易于访问的像素端口，可加快新设计的启动速度。只需将视频捕获板插入评估板的像素端口并捕获视频数据即可（图 9）。
图9.adv7401/adv7403评估板上的像素总线。
视频编码器、视频dac和ad9889b hdmi发射器连接到同一像素总线，允许在第二路输出上查看当前图像。adi公司视频解码器包括处理视频所需的模块，可提供可靠的性能和稳定的图像。
结论
摄像机在工业应用中具有许多优势。当必须对移动项目进行排序、跟踪或记录时，这一点尤其重要。视频技术和具有高度集成的视频解码器的实时处理可用于在移动传送带上高效分析物品或对混合产品进行分类。
磁带机的存储技术有哪些?
全球智能手表市场出货量第三季度增长6％，苹果、华为和三星出货量位居前三
可见光通信Lifi：无需WiFi,点盏LED灯也能上网
苹果新iphone将添加三镜头 小米进军欧洲市场
自制铝焊料
视频解码器在监督检查中的基础知识
三星S10系列评测 名副其实这是三星应得的
国美通讯 6.5 亿元 “卖房”给国美电器
如何使用Google助手来控制您的家用电器
以P900为例谈谈数传电台部署的注意事项
MSP430单片机的端口介绍
USB3.0 HUB方案之VL817-Q7
虚拟机：Linux恢复nouveau驱动的方法
购购购！TEK370A 371A 370购不停 晶体和管测试仪
RTX2080TiFE翻车矛头指向美光显存 新卡采用三星显存
IQ调制在手机通信系统中的应用
奥松电子获批建立“广东省科技专家工作站”
一百道关于MySQL索引解答
人工智能芯片行业布局和投资前景分析
三星在今年上半年超越中兴通讯成为全球第四大移动网络设备供应商
视频固有地携带大量数据，这可能会使信号处理和数据存储任务复杂化。视频检测通常可以通过裁剪无用的信息并仅传递图片的基本部分来简化，从而节省内存和计算周期。图1显示了典型系统的元件。
图1.简化的视频检测数据流。
本文展示了几个示例，说明提取有用数据如何最大限度地减少处理、存储器大小和dsp使用，并说明adi公司视频解码器的特殊功能如何简化视频算法并加快视频检测系统的开发。
例 1.计数和检查对象
想象一下，一条宽阔的传送带包含许多快速移动的产品。大量的产品使手动盘点变得困难。除了自动执行计数任务外，还可以使用相机来监控产品质量。这可以通过修改简单计数算法以专注于特定细节和工件来实现。
存储所有视频数据需要大量的内存，处理大量数据在硬件和功率方面会花费很多。该系统不是在内存中收集整个图片，而是可以在一堆数据中找到有趣的细节，并在检查传送带上的产品时尽可能多地丢弃无用的数据。
在大多数情况下，灰度图片可以携带足够的信息。因此，可以通过将rgb信号转换为y（仅亮度）来删除色度信息。然后，可以使用边缘检测来检查生成的单色图片的内容，以查找传送带上的产品，并将其形状与模板进行比较，以确定产品是否畸形。
边缘检测算法只需要几行活动视频和少量内存，通过计算活动图像的第一和二阶导数来发现相邻像素亮度的不连续性，如bernd jähne的数字图像处理中所述。在实践中，边缘检测可以通过使用矩阵计算（例如 sobel 矩阵运算符）提取信息来实现。在fpga（现场可编程门阵列）实现中，以像素为基础执行此操作可提供令人满意的结果。一个简单的fpga实现在tanvir a. abbasi和mohm的“sobel边缘检测操作员的基于fpga的架构”中进行了展示。美国赛义德·阿巴西。噪声可以通过添加高斯2d滤波器来消除，如mathukumar venkatesan和daggu venkateshwar rao的“fpga边缘检测算法的硬件加速”中所述，它描述了类似于canny边缘检测器的探测器的成功实现。
其他几种优化算法可以提高图像质量，但都在fpga设计中占据了相当大的空间。但是，一些集成电路（ic）视频解码器已经配备了有用的预处理算法或滤波器;因此，选择其中之一将节省fpga中的空间。例如，adv7802视频解码器包括亮度瞬态改善（lti）和色度瞬态改善（cti）模块。这些模块通过改善亮度和色度转换的陡度来增强生成的图像，使用自适应峰值和非线性方法，而不会增加噪声或引入伪影，并且在边缘检测过程中非常有用。此外，亮度整形和其他内置输入滤波器可以消除源头的高频噪声，专注于信号，忽略偶然噪声。
图2.lti/cti 操作图。
边缘检测提供有关对象边缘过渡的信息，而不是对象的全貌。这种从每像素 3 位 × 8 位 （bpp） 到 1 bpp 的减少节省了大量内存：
640 像素 × 480 像素 = 307，200 位（1 bpp）
800 像素 × 600 像素 = 480，000 位（1 bpp）
1024 像素 × 768 像素 = 786，432 位（1 bpp）
1280 像素 × 720 像素 = 921，600 位（1 bpp）
通过将rgb转换为y，在内存中仅存储几行活动视频，并使用fpga算法，我们可以检测物体并查看其形状。一旦知道它们在移动传送带上的位置，我们就可以估计它们的运动并从下一帧中收集颜色或其他信息，同时确保使用最少量的内存。该过程涉及
边缘检测
存储信息
预测下一个位置 xn+1
在产品应该存在的区域提取信息。
例 2.检测运动和质量
机器人正在特定距离和有限范围内寻找物品。超声波可用于某些应用;但是，如果表面吸收超声波或物品在玻璃后面，则可以使用视频。相机设置为对焦于附近的物体。窄范围内的项目将具有锐利的边缘，但超出该范围的背景项目具有模糊的边缘（图 3）。
图3.对焦 - 景深较窄。
边缘检测可用于区分目标范围内的物品，因为这些是唯一具有锋利边缘的物品。背景中的项目将足够模糊，无法通过边缘检测测试。处理将生成二进制位图，其中 1 表示检测到边缘，0 表示未检测到边缘。每个检测到的边缘像素的位置（x，y）可用于使用公式1近似隔离物体的中间：
(1)
哪里xn是边缘像素的 x 位置，n; yn是边缘像素 n 的 y 位置;n 是检测到的边缘像素数。
一旦知道物体及其边缘的位置，我们就可以尝试追踪它。关键是从图片中精确提取一个对象，将其边缘转换为轮廓，该轮廓可用于通过检查像素与对象中间的平均距离来确定项目是否正在向相机移动，以查看对象的大小是否在变化，如公式2所示：
(2)
n 是 frame 中的边缘像素数;m 是 frame–1 中的边缘像素数。
关注水平轴可得出公式3：
(3)
当对象向相机移动（像素从对象中间扩散）时，此等式的值将为正数。负值表示物体正在远离相机，如图4所示。
图4.移动物体的帧更改。
请注意，物体必须在相机的对焦范围内。通过修改算法，我们可以主动改变焦点以扫描更广泛的区域。一旦检测到对象，就可以对其进行分割、处理和跟踪。
随着视频复杂性的增加，跟踪对象变得更加困难，尤其是对于带纹理的对象和因快速移动而失去清晰度的对象。一些跟踪算法在施建波的“好的跟踪功能”中展示。当物体失去清晰度时，边缘检测会失败。跟踪仍然可以通过使用复杂的相关技术来完成，例如块匹配（用于估计运动）或 yao wang、jörn ostermann 和 ya-qin zhang（在“视频处理和通信”中详述的其他方法）。
由于来自相机的连续数据流，可以跟踪物体以确定其加速度和其他参数。但是，必须使用高质量的视频序列才能获得良好的视频分析结果。通过分析相邻像素检测边缘时，如果使用逐行扫描视频而不是低质量的隔行扫描pal或ntsc信号，分辨率会更好。adv7401和adv7403视频解码器接受各种视频标准，包括逐行模式。它们能够数字化高达 140 mhz 的视频信号，可以处理标清、ed和高清分量信号、cvbs 和图形。此外，它们支持非标准视频模式，允许使用不太流行的标准，例如 stanag。灵活的像素输出总线允许以 4：2：2、4：4：4 ycbcr 或 4：4：4 rgb 格式进行数据处理。非标准视频格式可以过采样或欠采样以获得给定的水平宽度，如 an-0978 “组件处理器非标准视频格式”中所述。
内置色彩空间转换器（csc），如图5所示，可转换色彩空间以满足用户要求（公式4，其中a1...答4， b1...b4， c1...c4 是可调的 csc 参数）。yprpb 或 rgb 输入信号可以使用可配置的矩阵转换转换为其他格式。例如，将rgb转换为ycbcr可以丢弃色度信息（cb，cr），从而简化单色图片的边缘检测。
(4)
图5.单csc通道（adv7403）。
csc 非常有用。通过rgb或ycbcr输入，可以使用颜色空间矩阵简单地转换颜色信息。图 6 显示了类似于 ycbcr 的 yuv 颜色空间。
图6.产品质量评估中的 yuv 色彩空间可用于检测（例如）产品何时燃烧或发霉。y（亮度）是恒定的。
如图6所示，颜色（或yprpb值）可以帮助检测产品的质量，例如，是烧焦还是发霉。色彩空间转换在视频处理和与使用其他标准的ic接口时是必要的。adv7401/adv7403内置一个输入多路复用器，可轻松切换视频源，这是从停止传送带切换到工作传送带时非常有用的功能。
例 3.调整视频检测的白平衡和色彩平衡
开发从图片中提取物体的视频系统需要付出巨大的努力，因为光线角度或强度的简单变化会影响检测结果。视频工程师可以使用adv7401/adv7403增益和失调调整，通过在传送带上添加两条小参考条纹（一条深色，一条亮）来调整亮度和对比度。调整adv7401/adv7403的失调和增益以获得相当的值，从而使系统能够补偿光色、角度和强度的变化。
图7.将小的参考条纹添加到可见区域
调整适当白平衡的算法可以非常简单。首先，获取条纹的参考 rgb（或 ycbcr）值。然后，要补偿光线，只需更改偏移和增益即可获得与基准相同的值。此算法可用于：
获取深色条纹的 rgb（或 ycbcr）值。
调整偏移量以匹配深色条纹的所需 rgb（或 ycbcr）值。
获取光条的 rgb（或 ycbcr）值
调整增益以匹配所需的光条rgb（或ycbcr）值。
要提高准确性，请重复步骤 2 和 4。
此过程在系统开发期间特别有用，因为它提供了正确的偏移（亮度）和增益（对比度），即使光线太强或太弱，如图8所示。失调和增益寄存器可通过 i2c 总线获得，允许快速调整。
图8.调整失调和增益以补偿环境照明的变化。
颜色也可用于参考条纹。这种补偿类似于广泛使用的白平衡，但白平衡与人类的感知相匹配，而色彩校正是为了补偿由于不同照明引起的变化。尽管算法类似，但额外的偏移会导致深色看起来不自然。adv7401/adv7403色彩空间转换、灵活的输出像素端口以及失调和增益调整寄存器使工程师能够使用已准备好处理的数据快速开发算法。如前所述，如果简单视频不需要高级算法，请务必减少视频处理所需的数据量并避免使用高级算法。adv7401/adv7403的评估板具有易于访问的像素端口，可加快新设计的启动速度。只需将视频捕获板插入评估板的像素端口并捕获视频数据即可（图 9）。
图9.adv7401/adv7403评估板上的像素总线。
视频编码器、视频dac和ad9889b hdmi发射器连接到同一像素总线，允许在第二路输出上查看当前图像。adi公司视频解码器包括处理视频所需的模块，可提供可靠的性能和稳定的图像。
结论
摄像机在工业应用中具有许多优势。当必须对移动项目进行排序、跟踪或记录时，这一点尤其重要。视频技术和具有高度集成的视频解码器的实时处理可用于在移动传送带上高效分析物品或对混合产品进行分类。
磁带机的存储技术有哪些?
全球智能手表市场出货量第三季度增长6％，苹果、华为和三星出货量位居前三
可见光通信Lifi：无需WiFi,点盏LED灯也能上网
苹果新iphone将添加三镜头 小米进军欧洲市场
自制铝焊料
视频解码器在监督检查中的基础知识
三星S10系列评测 名副其实这是三星应得的
国美通讯 6.5 亿元 “卖房”给国美电器
如何使用Google助手来控制您的家用电器
以P900为例谈谈数传电台部署的注意事项
MSP430单片机的端口介绍
USB3.0 HUB方案之VL817-Q7
虚拟机：Linux恢复nouveau驱动的方法
购购购！TEK370A 371A 370购不停 晶体和管测试仪
RTX2080TiFE翻车矛头指向美光显存 新卡采用三星显存
IQ调制在手机通信系统中的应用
奥松电子获批建立“广东省科技专家工作站”
一百道关于MySQL索引解答
人工智能芯片行业布局和投资前景分析
三星在今年上半年超越中兴通讯成为全球第四大移动网络设备供应商