基于DM8168的视频智能分析系统的设计方案
0 引言
视频智能分析系统是指以数字视频处理技术为核心，在传统视频监控系统上发展而来的一种新型系统，充分利用了这些年高速dsp、光电传感器、工业以太网和人工智能等领域的技术成果。视频智能分析系统除具有传统安防监视系统的功能以外，还有复杂场景的昼夜监控、不间断检测、智能识别及预警入侵目标、自动异常检测、视频传输、后端回放、误报率低等特殊功能。
传统基于pc 平台的安防系统维护成本高、功耗体积大，一般不具备智能视频分析功能，x86体系的处理器的实时性不强，使用范围受限制。
目前大部分的视频监控系统是基于dm642 平台的，少部分采用了dm6467平台，处理器性能较弱，无法满足今后的高清视频智能分析的需求。ti公司在2011年推出tms320dm8168 图像处理器，内嵌有arm 核和dsp 核，arm 核为1.2 ghz arm-cortex- -a8 riscmpu，dsp核为1 ghz c674x-vliw dsp，带有sgx530显示加速器、高清视频协处理器（hdvicp）、高清视频处理子系统（hdvpss）。
本文以美国德州仪器（ti）公司的图像处理器处理器tms320dm8168为核心，设计及实现一种高清视频智能分析系统，能智能分析高清视频流，对威胁目标具有检测、识别、跟踪及预警功能，通过千兆以太网将视频压缩传输给监控后端。该高清视频智能分析系统处理器运算能力很强，能满足多路高清视频的分析处理和编码传输需求，有很大的实用价值。
本方案从硬件设计和软件设计两个方面，对该高清视频智能分析系统的设计流程进行了详细的描述。
1 系统硬件组成
高清视频智能分析系统用于实现对现场大面积的覆盖监控，以及对目标事件的特写监控。主要由a/d转换器、dm8168处理器、电源转换电路等组成。如图1所示。
高清视频智能分析系统采用12vdc供电。电源转换电路通过tps54620 芯片转换成5 v，3.3 v 和1.5 v三路电压，然后再转换给各功能电路需要的电压供功能电路使用。
高清模拟视频信号通过ypbpr接口进入系统，由高清视频解码器tvp7002 进行ad 采集，由dm8168 的vip0口捕获。
处理器dm8168的高清视频处理子系统（hdvpss）提供了视频输入接口和视频输出接口，负责视频捕获、显示、缩放和反交错处理，视频输出接口扩展有hdmi显示输出接口。
处理器dm8168的高清视频协处理器（hdvicp）来处理h.264，mpeg4，mjpeg编解码。
处理器dm8168的sgx530显示加速器可以有效提升视频流显示速度和质量。
处理器dm8168 的dsp 内核上完成高清视频信号的分析、理解，主动提取目标并实现对目标跟踪。
处理器dm8168 的arm 内核运行基于linux 操作系统的应用程序，主要负责系统的控制、通信以及网络传输等工作，输出报警信号，通过千兆以太网将视频压缩传输给监控后端，本设计的工作流程如图2所示。
2 系统软件设计
本设计中，处理器dm8168的双核架构中的arm内核是主处理器，能引导加载dsp内核，并将预处理后的视频数据通过syslink传送到dsp内核进行处理。sys-link是ti新推出的dsp/bios link实现，允许在处理器各个内核之间的通信。arm 内核、dsp 内核、hdvpss和hdvicp 的通信由syslink 负责。软件系统架构如图3所示。
本设计的智能分析算法如图4 所示。智能分析算法由视频预处理、目标检测与跟踪、目标识别与理解、视频编码压缩共4个模块构成。
在实际应用中，通过视频输入接口捕获的原始视频由于运动、光照、噪声等原因，导致原始视频的信息量过于繁杂，必须对原始视频进行预处理，提取需要的信息。在捕获原始视频后，因为成像的过程中不可避免地受到各种干扰的原因。在本设计中，对原始视频进行预处理是必不可少的，把干扰因素的影响降到最低，并且把质量较低的视频进行处理，原因就是直接对待测目标的特征数据库去提取特征很难做到。
预处理模块主要包括摄像机标定、滤波、增强与恢复等环节。在使用摄像机之前需要对其进行参数的标定，包括摄像机模型的内部参数和外部参数。
3 目标测试与分析结果
目标检测与跟踪模块主要是把目标从视频图像中提取出来，并进行判断。同时将目标完成的从背景中分割出来，最后实现对目标的持续稳定跟踪。完成对目标的检测和跟踪，是实现更复杂的识别功能的基础。目标的检测与跟踪模块包括背景建模、目标分割、特征模板建立、目标跟踪。目标识别与理解模块内容包括主要包括目标模型建立、目标分类识别、行为理解、识别和模板更新，是在目标检测与跟踪模块的基础上，进一步研究各目标的性质以及目标之间的相互联系，并得出对视频内容的理解以及对客观场景的解释。完成目标的锁定后，通过更为深度的分析和理解和采用基于学习机制的识别和理解算法，进一步研究视频中各目标的性质。对目标进行分类识别和行为理解，从而指导和规划行动。
经过目标识别和理解，将分析结果送入决策模块，送出报警信息。同时，在分析后视频上叠加标志信息，进行视频编码后通过以太网传输到监控后端设备。如图5、图6所示。
为了优化系统性能，由arm内核对dsp内核、高清视频处理子系统和高清视频协处理器的工作进行精确同步并行，保证arm内核在预处理n帧视频、将n-3帧视频通过千兆以太网送出的同时，dsp 内核在分析第n-1帧视频，hdvicp对n-2帧视频编码压缩，hdvpss正好采集n+1帧视频。
4 结论
本方案在dm8168 平台上设计并实现了高清视频智能分析系统，构造了较为先进的智能分析软件算法， 从硬件设计和软件设计两个方面介绍了硬件组成、工作流程、软件架构，并详细描述智能分析算法的构成、实现和优化。经过目标测试结果表明，该高清视频智能分析系统能实现对复杂场景的昼夜不间断监控，具有架构简单、可靠性高、误报警率低等特点，满足今后的高清视频智能分析的需求，应用前景相当广阔。
南大光电高黏附性的ArF光刻胶树脂专利揭秘
高效能、低功耗强固型工业电脑 ─ DI-1100系列
Python和R语言都适合进行数据分析
医疗IC设计工艺:双极性与CMOS
用于工业控制检测氧含量场合的氧气分析仪
基于DM8168的视频智能分析系统的设计方案
vivoX7的指纹识别功能到底好不好用
高压熔断器的作用
如何使用新型传感器为医疗应用构建智能手机附件
别挣扎了，你的旧iPhone还想流畅玩游戏？不存在的！
苹果厚道！iPhone7S/7S Plus/8配置曝光业界良心！
定制热缩管成型绝缘铝排
相位差检测电路的详细分析
利用扩频时钟挑战降低电磁干扰源的屏蔽和滤波
玻璃基板的清洗方法
东芝推出RC500 NVMe 固态硬盘，性价比的不二选择
欧洲首个5G军事测试站点启动
德国世界报：华为出局会给德国5G建设带来严重后果
床垫和沙发抗引燃特性测试仪简介
MATLAB课程之第五章v2 文件操作(1)
视频智能分析系统是指以数字视频处理技术为核心，在传统视频监控系统上发展而来的一种新型系统，充分利用了这些年高速dsp、光电传感器、工业以太网和人工智能等领域的技术成果。视频智能分析系统除具有传统安防监视系统的功能以外，还有复杂场景的昼夜监控、不间断检测、智能识别及预警入侵目标、自动异常检测、视频传输、后端回放、误报率低等特殊功能。
传统基于pc 平台的安防系统维护成本高、功耗体积大，一般不具备智能视频分析功能，x86体系的处理器的实时性不强，使用范围受限制。
目前大部分的视频监控系统是基于dm642 平台的，少部分采用了dm6467平台，处理器性能较弱，无法满足今后的高清视频智能分析的需求。ti公司在2011年推出tms320dm8168 图像处理器，内嵌有arm 核和dsp 核，arm 核为1.2 ghz arm-cortex- -a8 riscmpu，dsp核为1 ghz c674x-vliw dsp，带有sgx530显示加速器、高清视频协处理器（hdvicp）、高清视频处理子系统（hdvpss）。
本文以美国德州仪器（ti）公司的图像处理器处理器tms320dm8168为核心，设计及实现一种高清视频智能分析系统，能智能分析高清视频流，对威胁目标具有检测、识别、跟踪及预警功能，通过千兆以太网将视频压缩传输给监控后端。该高清视频智能分析系统处理器运算能力很强，能满足多路高清视频的分析处理和编码传输需求，有很大的实用价值。
本方案从硬件设计和软件设计两个方面，对该高清视频智能分析系统的设计流程进行了详细的描述。
1 系统硬件组成
高清视频智能分析系统用于实现对现场大面积的覆盖监控，以及对目标事件的特写监控。主要由a/d转换器、dm8168处理器、电源转换电路等组成。如图1所示。
高清视频智能分析系统采用12vdc供电。电源转换电路通过tps54620 芯片转换成5 v，3.3 v 和1.5 v三路电压，然后再转换给各功能电路需要的电压供功能电路使用。
高清模拟视频信号通过ypbpr接口进入系统，由高清视频解码器tvp7002 进行ad 采集，由dm8168 的vip0口捕获。
处理器dm8168的高清视频处理子系统（hdvpss）提供了视频输入接口和视频输出接口，负责视频捕获、显示、缩放和反交错处理，视频输出接口扩展有hdmi显示输出接口。
处理器dm8168的高清视频协处理器（hdvicp）来处理h.264，mpeg4，mjpeg编解码。
处理器dm8168的sgx530显示加速器可以有效提升视频流显示速度和质量。
处理器dm8168 的dsp 内核上完成高清视频信号的分析、理解，主动提取目标并实现对目标跟踪。
处理器dm8168 的arm 内核运行基于linux 操作系统的应用程序，主要负责系统的控制、通信以及网络传输等工作，输出报警信号，通过千兆以太网将视频压缩传输给监控后端，本设计的工作流程如图2所示。
2 系统软件设计
本设计中，处理器dm8168的双核架构中的arm内核是主处理器，能引导加载dsp内核，并将预处理后的视频数据通过syslink传送到dsp内核进行处理。sys-link是ti新推出的dsp/bios link实现，允许在处理器各个内核之间的通信。arm 内核、dsp 内核、hdvpss和hdvicp 的通信由syslink 负责。软件系统架构如图3所示。
本设计的智能分析算法如图4 所示。智能分析算法由视频预处理、目标检测与跟踪、目标识别与理解、视频编码压缩共4个模块构成。
在实际应用中，通过视频输入接口捕获的原始视频由于运动、光照、噪声等原因，导致原始视频的信息量过于繁杂，必须对原始视频进行预处理，提取需要的信息。在捕获原始视频后，因为成像的过程中不可避免地受到各种干扰的原因。在本设计中，对原始视频进行预处理是必不可少的，把干扰因素的影响降到最低，并且把质量较低的视频进行处理，原因就是直接对待测目标的特征数据库去提取特征很难做到。
预处理模块主要包括摄像机标定、滤波、增强与恢复等环节。在使用摄像机之前需要对其进行参数的标定，包括摄像机模型的内部参数和外部参数。
3 目标测试与分析结果
目标检测与跟踪模块主要是把目标从视频图像中提取出来，并进行判断。同时将目标完成的从背景中分割出来，最后实现对目标的持续稳定跟踪。完成对目标的检测和跟踪，是实现更复杂的识别功能的基础。目标的检测与跟踪模块包括背景建模、目标分割、特征模板建立、目标跟踪。目标识别与理解模块内容包括主要包括目标模型建立、目标分类识别、行为理解、识别和模板更新，是在目标检测与跟踪模块的基础上，进一步研究各目标的性质以及目标之间的相互联系，并得出对视频内容的理解以及对客观场景的解释。完成目标的锁定后，通过更为深度的分析和理解和采用基于学习机制的识别和理解算法，进一步研究视频中各目标的性质。对目标进行分类识别和行为理解，从而指导和规划行动。
经过目标识别和理解，将分析结果送入决策模块，送出报警信息。同时，在分析后视频上叠加标志信息，进行视频编码后通过以太网传输到监控后端设备。如图5、图6所示。
为了优化系统性能，由arm内核对dsp内核、高清视频处理子系统和高清视频协处理器的工作进行精确同步并行，保证arm内核在预处理n帧视频、将n-3帧视频通过千兆以太网送出的同时，dsp 内核在分析第n-1帧视频，hdvicp对n-2帧视频编码压缩，hdvpss正好采集n+1帧视频。
4 结论
本方案在dm8168 平台上设计并实现了高清视频智能分析系统，构造了较为先进的智能分析软件算法， 从硬件设计和软件设计两个方面介绍了硬件组成、工作流程、软件架构，并详细描述智能分析算法的构成、实现和优化。经过目标测试结果表明，该高清视频智能分析系统能实现对复杂场景的昼夜不间断监控，具有架构简单、可靠性高、误报警率低等特点，满足今后的高清视频智能分析的需求，应用前景相当广阔。
南大光电高黏附性的ArF光刻胶树脂专利揭秘
高效能、低功耗强固型工业电脑 ─ DI-1100系列
Python和R语言都适合进行数据分析
医疗IC设计工艺:双极性与CMOS
用于工业控制检测氧含量场合的氧气分析仪
基于DM8168的视频智能分析系统的设计方案
vivoX7的指纹识别功能到底好不好用
高压熔断器的作用
如何使用新型传感器为医疗应用构建智能手机附件
别挣扎了，你的旧iPhone还想流畅玩游戏？不存在的！
苹果厚道！iPhone7S/7S Plus/8配置曝光业界良心！
定制热缩管成型绝缘铝排
相位差检测电路的详细分析
利用扩频时钟挑战降低电磁干扰源的屏蔽和滤波
玻璃基板的清洗方法
东芝推出RC500 NVMe 固态硬盘，性价比的不二选择
欧洲首个5G军事测试站点启动
德国世界报：华为出局会给德国5G建设带来严重后果
床垫和沙发抗引燃特性测试仪简介
MATLAB课程之第五章v2 文件操作(1)