基于DSP的智能视频监控终端设计
1 引言
随着电子、计算机技术的发展，视频监控系统正从模拟技术向数字技术方向发展。从硬件形式上看，视频监控技术的发展经历了三个阶段：模拟视频信号监控、pc机加视频卡的数字视频监控和基于嵌入式技术的数字视频监控［1］。基于pc机技术的监控系统采用在普通pc机中插接视频采集卡的集成方式，由视频卡完成图像采集、数字化和数据压缩，pc机通过网卡和通信设备实现互连。这一类系统目前已经占据市场主流。随着嵌入式芯片技术和嵌入式操作系统的发展与成熟，基于嵌入式体系结构的视频监控系统由于具备体积小、性能稳定、安装方便等优越性能，越来越受到人们的关注［2］。对于嵌入式视频监控系统的研究，国外起步早，已有产品性能较好，但价格昂贵，国内用户一般无法承受。我国是近几年开始这方面研究的，从已有研究成果来看，其监控终端更多的是将成像系统、视频数字化系统和网络接口集成于一体［3］，而其监控的智能化程度还远没有得到开发应用。
基于当前的应用背景和技术支持，本文设计了一种新型的具有入侵扫描功能的嵌入式智能网络视频监控终端，此监控终端具备视频采集、视频检测功能，带有以太网接口、tcp/ip协议栈、webserver，可直接与internet互连，internet上的授权用户使用标准的浏览器就可以根据ip地址访问此终端，查看检测到的目标图像。相比传统基于pc机+视频采集卡模式的监控终端，本终端体积小，成本低，安装方便，系统传输的数据量小，具备智能检测运动目标功能，可以实现无人职守，非常适合家庭、住宅小区、银行、仓库等单位的安全防范。
2 系统组成与工作原理
为实现视频实时检测以及网络传输功能，本监控终端采用arm+dsp的体系框架，系统组成如图1所示，主要包括以arms3c4510b为核心的主控兼网络传输模块，以saa7111为核心的视频采集模块，以dsptms320c6202为核心的视频检测模块，以cpldepm7128为核心的控制模块，以及电源管理模块等。系统具备视频采集、视频检测、图像数据的打包、网络传输、控制等功能。其工作流程是：主控cpu s3c4510b上电初始化，saa7111初始化，s3c4510b系统自检、装载tms320c6202程序至ram、启动dsp，设定saa7111初始参数，摄像机的模拟信号经过数据采集、缓存后，dsp及其外围电路对其进行运动目标检测，将检测结果通过dsp的hpi接口传递给s3c4510b，s3c4510b对数据打包，建立套接字通讯服务器，等待连接进行网络发送。
3 硬件设计
3.1 s3c4510b及其外围电路设计
本终端采用samsung公司开发的s3c4510b芯片作为主控制器。s3c4510b是一款高性能arm体系结构的32位嵌入式微处理器，具有很强的实时多任务支持能力和扩展能力，以及小体积、低功耗、高性能等系列特点。内嵌双通道缓冲dma的以太网控制器和极强的外围扩展能力是本次设计选择它的重要原因。s3c4510b以及外围芯片flash、sdram存储器组成了整个系统的核心，负责控制和协调各模块工作。本设计对s3c4510b内部的sdram和rom进行了扩充，flash选用mx29l3211，容量为4mb。外扩sdram选用micro的mt48lc4m16a2tg，容量为8mb。
s3c4510b与tms320c6202的通信电路设计采用16位主机接口（hpi）来实现，hpi利用并行总线接口技术，使主控处理器可以在无需dsp干涉的情况下访问dsp的内部存储器。在利用hpi实现主控处理器和c6202之间进行数据交换时，允许数据缓存、实时数据登录和信息处理。本设计中，主机接口（hpi）主要实现以下两个功能：第一，在系统启动时，实现dsp的程序装载。第二，在s3c4510b和tms320c6202之间，进行控制信息的传递。s3c4510b响应dsp的中断信号，读取图像检测结果，转交于uclinux操作系统，打包发送至网络。
3.2 视频采集
本设计中所使用的图像采集设备是ccd摄像头，由于ccd摄像头输出的信号为模拟信号，系统选用philip公司的saa7111图像解码芯片，以此来完成图像的数字化过程，以及对水平和垂直同步等信号的分离。
saa7111有很多种功能供用户选择，功能的选定可以通过对寄存器的设置来完成。本系统的研究对象是基于256级的灰度图像，输入信号采用pal体制，结合系统处理速度的具体要求，对芯片作如下配置：采用yuv4:2：2的信号格式，只取y（亮度）信号，分辨率为256×256像素。选用i2c总线信号对saa7111工作寄存器初始化，然后saa7111开始实现反混迭滤波、线性相位锁定、亮色分离、视频a/d变换等功能，同时产生行同步信号hs、场同步信号vs、奇偶场标志信号rtso、像素时钟信号llc2、数字视频信号，这些信号从芯片的管脚直接输出，将模拟视频信号解码为标准的yuv格式的数字视频信号［4］。在cpld的控制下，将其存入fifo帧存储器中，通过dsp的dma通道存入sdram，以便dsp进行图像处理。
3.3 逻辑控制
本系统在实时图像采集与检测工作中，有大量逻辑转换和读写等逻辑时序运算的问题，如fifo的hf信号作为启动dma中断的标志信号，由saa7111的cree、hs、vs译码产生控制输入数据缓冲fifo器件的写时序，以及由dsp的cex信号译码产生的控制输入数据缓冲fifo器件的读时序等。为解决以上逻辑转换和时序产生的问题，系统设计采用可编程逻辑控制器件cpld，选用epm7128sqc100。该器件不仅满足了相应的逻辑时序设计的要求，而且还提供控制信号，通过编程实现系统各模块所需要的选通、缓冲、读/写使能、数据总线和地址总线的切换等。
3.4 dsp外围电路设计与视频检测
为了实现视频检测，采用ti公司的dsp芯片tms320c6202［5］，其内部有8个并行处理单元，两个16bit乘法器和6个算术逻辑单元，32bit外部存储器接口（emif:externalmemoryinterface），支持与异步外设、异步/同步fifo、pci桥以及外部主控处理器等的接口。此外，还有16bit的主机接口hpi、两个多通道缓冲串口mcbsp（多通道缓冲串口），它不仅可完成标准串口的全双工串行通信，还支持多种通信协议下的直接接口。dsp不仅完成视频实时检测，还通过12c总线对saa7111内部的32个寄存器操作，完成初始化参数设置。
为了dsp程序快速、可靠运行，采用flash和高速sdram方式。其中，flash选用amd公司生产的8mb的am29lv800b，用于存储程序和初始化数据，通过dsp的emif导入c6202进行图像处理操作。sdram选用8mb的hy57v651620b，用于实时图像数据的缓存。c6000系列的数字信号处理器的emif提供了对sdram的直接支持，接口十分方便。系统加电运行时，dsp自动将程序和初始化数据从flash装入到高速sdram，装入完毕，程序在高速sdram中全速运行。
考虑到图像数据采集与dsp处理时的速度匹配问题，系统在图像采集模块和dsp模块间采用了数据缓冲fifo器件，经图像采集模块产生的数字图像数据首先缓冲至fifo中，然后利用fifo的hf等信号作为启动dsp中dma中断的标志信号，在此基础上，利用fifo的hf启动dsp的dma通道将图像数据传送至dsp扩展的sdram中，从而有效地减少了由图像数据输入引发的dsp中断的次数，提高了dsp中断的效率。
由于图像采集模块的saa7111提供给dsp的数据是ttl电平，其逻辑高电平为5v，而dsp的i/o的逻辑高电平是3.3v，因此在saa7111输出的图像数据和dsp的i/o之间还需增加lvth162245电平转换器件，以满足数据电平转换的需要。
本设计中采集的是灰度图像，为了实现入侵扫描功能，要求能够存储两场图像。考虑到检测实时性要求，采用基于帧间差分的变化检测。检测运动目标时，考虑到对目标大小的选择性以及为了克服光照变化引起的虚警报，在帧间差分基础上，引入图像块概念，将图像分成m个n×n的子块，判断每一子块图像是否发生变化，统计发生变化的子块数目，判断式［6］为：
敏感项，α为抑制系数，n为检测区域内的像素数目。采用这种块比较法，阈值取值范围大大减小，易于确定，而且对运动目标的大小也有一定的选择性。在检测每一子块图像是否发生变化时，引入光照敏感项，避免了因光照变化引起的虚警。这种方法对光线变化有一定的自适应性，扩展了系统的动态适用范围。
3.5 网络接口电路设计
s3c4510b集成了以太网的mac接口控制器，因此对外界的网络接口只需要添加物理层芯片和rj-45接口。这一部分电路在s3c4510b应用手册上有详细的电路设计参考。本系统选用的物理层芯片是lxt970a（10/100mb），本监控终端通过rj-45接口可以方便地接入以太网。
4 软件设计
本终端选用uclinux嵌入式操作系统，uclinux可移植性很强，支持多任务，具有完备的tcp/ip协议栈，同时对其他许多网络协议都提供支持，这对于开发网络方面的应用程序比较方便。本终端软件部分的设计主要包括uclinux操作系统的平台移植以及uclinux下各硬件设备的驱动程序和应用程序的开发。
本终端软件包括视频采集、视频检测、主控程序和网络传输等应用程序，为了保证系统硬件的正常工作，其中还包括硬件初始化程序、以及为各种设备编写的底层驱动程序。驱动程序中需要完成的任务包括：对设备以及对应资源初始化和释放；读取应用程序传送给设备文件的数据并回送应用程序请求的数据等。编写的底层驱动程序包括：c6202，s3c4510b内部串口、网络接口芯片lxt970a等。嵌入式操作系统启动时先加载设备驱动程序，完成设备的初始化工作，然后调用应用程序完成相应功能。
5 结束语
本文设计的网络视频监控终端，可以自动检测入侵目标并将检测到的视频数据通过以太网进行网络传输。本监控终端体积小，安装方便，组网灵活，真正实现无人职守，可应用于住宅小区、银行、仓库等单位的安全防范。随着家庭局域网的普及，其在家庭远程视频监控方面必然有着广泛的应用前景。
s3c4510b与tms320c6202的通信电路设计采用16位主机接口（hpi）来实现，hpi利用并行总线接口技术，使主控处理器可以在无需dsp干涉的情况下访问dsp的内部存储器。在利用hpi实现主控处理器和c6202之间进行数据交换时，允许数据缓存、实时数据登录和信息处理。本设计中，主机接口（hpi）主要实现以下两个功能：第一，在系统启动时，实现dsp的程序装载。第二，在s3c4510b和tms320c6202之间，进行控制信息的传递。s3c4510b响应dsp的中断信号，读取图像检测结果，转交于uclinux操作系统，打包发送至网络。
运动蓝牙耳机哪个牌子好？运动型蓝牙耳机推荐
南京新潮半导体基金将成立 规模暂定为3亿元
苹果印度代工厂规模扩大,预产iPhone SE
移动数字网络上的移动多媒体方案
永磁同步电机控制系统仿真模型搭建
基于DSP的智能视频监控终端设计
SiC MOSFET的短沟道效应
三季度中大尺寸触控面板市场将显发展商机
关于纯电动汽车整车控制器的分析和介绍
初创公司XNRGI计划2020年量产“多孔”硅电池
区块链在财富管理方面可以提供帮助吗
如何选择合适的EMI滤波器 EMI滤波器的8个选型参数
英特尔现在已经共享了一些基准测试
英商康桥发布一次侧感应(PSS)控制芯片C2163
长期戴耳机的危害有哪些？耳机种类的选择很重要
松下任命汽车业务高管Yuki Kusumi 为新 CEO，加强与特斯拉合作
异步电动机的软起动运行特点介绍
华为自研的“鸿蒙”操作系统到底能不能取代安卓系统呢？
焦虑程序员怎样找到出路
回路损失在高清系统性能测试和检验中的考量
随着电子、计算机技术的发展，视频监控系统正从模拟技术向数字技术方向发展。从硬件形式上看，视频监控技术的发展经历了三个阶段：模拟视频信号监控、pc机加视频卡的数字视频监控和基于嵌入式技术的数字视频监控［1］。基于pc机技术的监控系统采用在普通pc机中插接视频采集卡的集成方式，由视频卡完成图像采集、数字化和数据压缩，pc机通过网卡和通信设备实现互连。这一类系统目前已经占据市场主流。随着嵌入式芯片技术和嵌入式操作系统的发展与成熟，基于嵌入式体系结构的视频监控系统由于具备体积小、性能稳定、安装方便等优越性能，越来越受到人们的关注［2］。对于嵌入式视频监控系统的研究，国外起步早，已有产品性能较好，但价格昂贵，国内用户一般无法承受。我国是近几年开始这方面研究的，从已有研究成果来看，其监控终端更多的是将成像系统、视频数字化系统和网络接口集成于一体［3］，而其监控的智能化程度还远没有得到开发应用。
基于当前的应用背景和技术支持，本文设计了一种新型的具有入侵扫描功能的嵌入式智能网络视频监控终端，此监控终端具备视频采集、视频检测功能，带有以太网接口、tcp/ip协议栈、webserver，可直接与internet互连，internet上的授权用户使用标准的浏览器就可以根据ip地址访问此终端，查看检测到的目标图像。相比传统基于pc机+视频采集卡模式的监控终端，本终端体积小，成本低，安装方便，系统传输的数据量小，具备智能检测运动目标功能，可以实现无人职守，非常适合家庭、住宅小区、银行、仓库等单位的安全防范。
2 系统组成与工作原理
为实现视频实时检测以及网络传输功能，本监控终端采用arm+dsp的体系框架，系统组成如图1所示，主要包括以arms3c4510b为核心的主控兼网络传输模块，以saa7111为核心的视频采集模块，以dsptms320c6202为核心的视频检测模块，以cpldepm7128为核心的控制模块，以及电源管理模块等。系统具备视频采集、视频检测、图像数据的打包、网络传输、控制等功能。其工作流程是：主控cpu s3c4510b上电初始化，saa7111初始化，s3c4510b系统自检、装载tms320c6202程序至ram、启动dsp，设定saa7111初始参数，摄像机的模拟信号经过数据采集、缓存后，dsp及其外围电路对其进行运动目标检测，将检测结果通过dsp的hpi接口传递给s3c4510b，s3c4510b对数据打包，建立套接字通讯服务器，等待连接进行网络发送。
3 硬件设计
3.1 s3c4510b及其外围电路设计
本终端采用samsung公司开发的s3c4510b芯片作为主控制器。s3c4510b是一款高性能arm体系结构的32位嵌入式微处理器，具有很强的实时多任务支持能力和扩展能力，以及小体积、低功耗、高性能等系列特点。内嵌双通道缓冲dma的以太网控制器和极强的外围扩展能力是本次设计选择它的重要原因。s3c4510b以及外围芯片flash、sdram存储器组成了整个系统的核心，负责控制和协调各模块工作。本设计对s3c4510b内部的sdram和rom进行了扩充，flash选用mx29l3211，容量为4mb。外扩sdram选用micro的mt48lc4m16a2tg，容量为8mb。
s3c4510b与tms320c6202的通信电路设计采用16位主机接口（hpi）来实现，hpi利用并行总线接口技术，使主控处理器可以在无需dsp干涉的情况下访问dsp的内部存储器。在利用hpi实现主控处理器和c6202之间进行数据交换时，允许数据缓存、实时数据登录和信息处理。本设计中，主机接口（hpi）主要实现以下两个功能：第一，在系统启动时，实现dsp的程序装载。第二，在s3c4510b和tms320c6202之间，进行控制信息的传递。s3c4510b响应dsp的中断信号，读取图像检测结果，转交于uclinux操作系统，打包发送至网络。
3.2 视频采集
本设计中所使用的图像采集设备是ccd摄像头，由于ccd摄像头输出的信号为模拟信号，系统选用philip公司的saa7111图像解码芯片，以此来完成图像的数字化过程，以及对水平和垂直同步等信号的分离。
saa7111有很多种功能供用户选择，功能的选定可以通过对寄存器的设置来完成。本系统的研究对象是基于256级的灰度图像，输入信号采用pal体制，结合系统处理速度的具体要求，对芯片作如下配置：采用yuv4:2：2的信号格式，只取y（亮度）信号，分辨率为256×256像素。选用i2c总线信号对saa7111工作寄存器初始化，然后saa7111开始实现反混迭滤波、线性相位锁定、亮色分离、视频a/d变换等功能，同时产生行同步信号hs、场同步信号vs、奇偶场标志信号rtso、像素时钟信号llc2、数字视频信号，这些信号从芯片的管脚直接输出，将模拟视频信号解码为标准的yuv格式的数字视频信号［4］。在cpld的控制下，将其存入fifo帧存储器中，通过dsp的dma通道存入sdram，以便dsp进行图像处理。
3.3 逻辑控制
本系统在实时图像采集与检测工作中，有大量逻辑转换和读写等逻辑时序运算的问题，如fifo的hf信号作为启动dma中断的标志信号，由saa7111的cree、hs、vs译码产生控制输入数据缓冲fifo器件的写时序，以及由dsp的cex信号译码产生的控制输入数据缓冲fifo器件的读时序等。为解决以上逻辑转换和时序产生的问题，系统设计采用可编程逻辑控制器件cpld，选用epm7128sqc100。该器件不仅满足了相应的逻辑时序设计的要求，而且还提供控制信号，通过编程实现系统各模块所需要的选通、缓冲、读/写使能、数据总线和地址总线的切换等。
3.4 dsp外围电路设计与视频检测
为了实现视频检测，采用ti公司的dsp芯片tms320c6202［5］，其内部有8个并行处理单元，两个16bit乘法器和6个算术逻辑单元，32bit外部存储器接口（emif:externalmemoryinterface），支持与异步外设、异步/同步fifo、pci桥以及外部主控处理器等的接口。此外，还有16bit的主机接口hpi、两个多通道缓冲串口mcbsp（多通道缓冲串口），它不仅可完成标准串口的全双工串行通信，还支持多种通信协议下的直接接口。dsp不仅完成视频实时检测，还通过12c总线对saa7111内部的32个寄存器操作，完成初始化参数设置。
为了dsp程序快速、可靠运行，采用flash和高速sdram方式。其中，flash选用amd公司生产的8mb的am29lv800b，用于存储程序和初始化数据，通过dsp的emif导入c6202进行图像处理操作。sdram选用8mb的hy57v651620b，用于实时图像数据的缓存。c6000系列的数字信号处理器的emif提供了对sdram的直接支持，接口十分方便。系统加电运行时，dsp自动将程序和初始化数据从flash装入到高速sdram，装入完毕，程序在高速sdram中全速运行。
考虑到图像数据采集与dsp处理时的速度匹配问题，系统在图像采集模块和dsp模块间采用了数据缓冲fifo器件，经图像采集模块产生的数字图像数据首先缓冲至fifo中，然后利用fifo的hf等信号作为启动dsp中dma中断的标志信号，在此基础上，利用fifo的hf启动dsp的dma通道将图像数据传送至dsp扩展的sdram中，从而有效地减少了由图像数据输入引发的dsp中断的次数，提高了dsp中断的效率。
由于图像采集模块的saa7111提供给dsp的数据是ttl电平，其逻辑高电平为5v，而dsp的i/o的逻辑高电平是3.3v，因此在saa7111输出的图像数据和dsp的i/o之间还需增加lvth162245电平转换器件，以满足数据电平转换的需要。
本设计中采集的是灰度图像，为了实现入侵扫描功能，要求能够存储两场图像。考虑到检测实时性要求，采用基于帧间差分的变化检测。检测运动目标时，考虑到对目标大小的选择性以及为了克服光照变化引起的虚警报，在帧间差分基础上，引入图像块概念，将图像分成m个n×n的子块，判断每一子块图像是否发生变化，统计发生变化的子块数目，判断式［6］为：
敏感项，α为抑制系数，n为检测区域内的像素数目。采用这种块比较法，阈值取值范围大大减小，易于确定，而且对运动目标的大小也有一定的选择性。在检测每一子块图像是否发生变化时，引入光照敏感项，避免了因光照变化引起的虚警。这种方法对光线变化有一定的自适应性，扩展了系统的动态适用范围。
3.5 网络接口电路设计
s3c4510b集成了以太网的mac接口控制器，因此对外界的网络接口只需要添加物理层芯片和rj-45接口。这一部分电路在s3c4510b应用手册上有详细的电路设计参考。本系统选用的物理层芯片是lxt970a（10/100mb），本监控终端通过rj-45接口可以方便地接入以太网。
4 软件设计
本终端选用uclinux嵌入式操作系统，uclinux可移植性很强，支持多任务，具有完备的tcp/ip协议栈，同时对其他许多网络协议都提供支持，这对于开发网络方面的应用程序比较方便。本终端软件部分的设计主要包括uclinux操作系统的平台移植以及uclinux下各硬件设备的驱动程序和应用程序的开发。
本终端软件包括视频采集、视频检测、主控程序和网络传输等应用程序，为了保证系统硬件的正常工作，其中还包括硬件初始化程序、以及为各种设备编写的底层驱动程序。驱动程序中需要完成的任务包括：对设备以及对应资源初始化和释放；读取应用程序传送给设备文件的数据并回送应用程序请求的数据等。编写的底层驱动程序包括：c6202，s3c4510b内部串口、网络接口芯片lxt970a等。嵌入式操作系统启动时先加载设备驱动程序，完成设备的初始化工作，然后调用应用程序完成相应功能。
5 结束语
本文设计的网络视频监控终端，可以自动检测入侵目标并将检测到的视频数据通过以太网进行网络传输。本监控终端体积小，安装方便，组网灵活，真正实现无人职守，可应用于住宅小区、银行、仓库等单位的安全防范。随着家庭局域网的普及，其在家庭远程视频监控方面必然有着广泛的应用前景。
s3c4510b与tms320c6202的通信电路设计采用16位主机接口（hpi）来实现，hpi利用并行总线接口技术，使主控处理器可以在无需dsp干涉的情况下访问dsp的内部存储器。在利用hpi实现主控处理器和c6202之间进行数据交换时，允许数据缓存、实时数据登录和信息处理。本设计中，主机接口（hpi）主要实现以下两个功能：第一，在系统启动时，实现dsp的程序装载。第二，在s3c4510b和tms320c6202之间，进行控制信息的传递。s3c4510b响应dsp的中断信号，读取图像检测结果，转交于uclinux操作系统，打包发送至网络。
运动蓝牙耳机哪个牌子好？运动型蓝牙耳机推荐
南京新潮半导体基金将成立 规模暂定为3亿元
苹果印度代工厂规模扩大,预产iPhone SE
移动数字网络上的移动多媒体方案
永磁同步电机控制系统仿真模型搭建
基于DSP的智能视频监控终端设计
SiC MOSFET的短沟道效应
三季度中大尺寸触控面板市场将显发展商机
关于纯电动汽车整车控制器的分析和介绍
初创公司XNRGI计划2020年量产“多孔”硅电池
区块链在财富管理方面可以提供帮助吗
如何选择合适的EMI滤波器 EMI滤波器的8个选型参数
英特尔现在已经共享了一些基准测试
英商康桥发布一次侧感应(PSS)控制芯片C2163
长期戴耳机的危害有哪些？耳机种类的选择很重要
松下任命汽车业务高管Yuki Kusumi 为新 CEO，加强与特斯拉合作
异步电动机的软起动运行特点介绍
华为自研的“鸿蒙”操作系统到底能不能取代安卓系统呢？
焦虑程序员怎样找到出路
回路损失在高清系统性能测试和检验中的考量