基于DSP的实时图像处理系统
基于dsp的实时图像处理系统
引言
本文设计了基于tms320c6000系列dsp的mpeg-4编码器。将摄像头获取的图像以mpeg-4标准进行实时压缩并通过vga实时显示，同时把压缩好的数据通过pci总线传输给arm控制器，经由arm根据实际的需要进行视频数据的网络传输。
mpeg-4 是一种开放性标准，其中许多部分都没有规定，可以加入一些新的算法，因此采用通用dsp 能够随时更新算法、优化算法，使得编码效率更高。由于mpeg-4 编码算法复杂，需要存储的数据量大，无论是存储空间分配、数据传输还是运算速度对dsp来说都是挑战。
c6000系列dsp是ti公司生产的高档dsp。这一系列dsp都是基velocititm构架的vliw dsp，它在每个周期可以执行八条32bit 的指令， 具有高达200mhz的cpu，从而使得其运算能力达到1600mips。而6416在600mhz主频下，只利用50%的运算能力就可以同时进行单通道mpeg-4视频编码、单通道mpeg-4视频解码和单通道mpeg-2视频编码的处理。同时其对外接口灵活、开发工具齐全，被大多数嵌入式图像实时压缩系统所采用。因此本系统采用ti公司tms320c6416芯片为核心处理器。
1．tms320c6416的结构及特点
dsp的cpu结构如图1所示，它具有两个通道，每个通道具有4个功能单元（1个乘法器和3个算术逻辑单元），16个32位通用寄存器，每个通道的功能单元可以随意访问本通道的寄存器。cpu还有两个交叉单元，通过它们，一个通道的功能单元可以访问另一个通道的寄存器。另外， cpu还具有256 bit宽的数据和程序通道，可以使程序存储器在每个时钟周期提供8条并行执行指令。这种cpu结构是dsp具有vliw结构的最基本条件。此dsp的存储空间映射为内部存储器、内部外设及扩展存储器。其中内部存储器由64kb内部程序存储器和数据存储器构成，内部程序存储器可以映射到cpu地址空间或者作为cache操作。内部和外部数据存储器均可通过cpu、dma或hpi（host interface）方式访问，hpi接口使上位机可以访问dsp的存储空间。
2．系统硬件设计
本系统主要分为三部分，分别是视频采集模块、视频的mpeg-4编码模块和视频传输模块，其结构框图如图2所示。
2.1 视频采集
在本系统中，对输入的模拟视频信号的采集是由bt835视频decoder完成的，支持的视频输入为pal制或ntsc制式的标准模拟视频信号，输入的视频信号既可以是复合视频信号，也可以是s-video信号，输出为4:2:2的yuv格式的图像数据。
图3所示为dsp 模拟视频输入接口原理框图。标准模拟视频信号经预处理进入a/ d转换器；同时又经时钟产生电路得到与行同步同相位的a/ d 转换时钟,这样可以使得每行的采样点均为整数。为了确保视频数据整行地被采集到dsp 中进行处理,特将行同步信号作为fifo 读入数据的起点。同时,行同步、场同步以及奇偶场标志信号也直接进入dsp ,使其能够确定读入的视频数据在一帧中的具体位置。为了增强系统的实时性,这里利用tms320c6416 dsp 的dma(直接存储器存取) 通道背景操作特性,以使dsp 和外设的数据交换能够与其内部cpu 的高速运算操作同时进行。而fifo 的功能在于,通过它的缓冲,使得dsp 可以从容地与a/ d 之外的其它外设交换数据。
其中arm7的作用是时钟的产生及控制视频采集芯片，将采得的数据从8位或16位转化为32位，并且使数据按照y、u、v分开的方式排列。这样相当于对采集到的数据进行了一次预处理，以便于视频编码使用。另外arm7将32位宽的数据输出给32位的fifo。用32位的fifo以及将视频数据转换为32位，可以使dsp读取视频数据时32位的数据总线没有空闲，从而提高dsp读取视频数据的效率；这里使用fifo是为了减少dsp读取数据的时间、降低高速设备和低速设备的不匹配。每次fifo半满时，arm7会给dsp发送中断信号， 并且在中断处理程序中使用dma方式读取视频数据；如果不使用arm7，dsp会频繁中断，从而花费大量时间在入栈、出栈以及寄存器的设置上。
2.2 视频的mpeg-4编码模块
dsp读入视频数据后进行先期处理，如将yuv格式转为rgb格式等；然后进行mpeg-4视频编码。在这一过程中，数据访问通常要占用50%的时间，算术运算要占用30%的时间，控制要占用20%的时间。因为需要进行运动估计和运动补偿，在数据存储器中通常保存一帧i（原始帧）帧图像和至少一帧p（预测帧）帧图像，这些图像占用的空间都比较大，因此放在外部存储器sdram里。在编码过程中还要存储dct系数、运动向量、量化矩阵、可变长编码表、z形编码表等，由于占用较小的存储空间而且会反复用到，因此把它们放在片内存储器中。
2.3 视频传输
与pc 机不同,dsp 片内片外的两级存储体系结构以及数据分配原则决定了编码器实现过程中必然存在大量的数据传输,因而必须有效地管理以减少数据
传输所需的时间。
至于数据的采集部分可以利用dsp的dma来进行。tms320c6000 dsp 大都具有几个独立的dma 通道,dma 的特点是可以在不受cpu 干预的情况下完成数据从源地址到目的地址的搬移。
但是dma 只适合于数据块的整体搬移,对于不同数据结构间的数据传输,前dsp 的dma 控制器就无能为力了。所以可以借助arm7控制dspdma 来完成视频编码中复杂的数据传输。
完成编码后的视频数据通过arm7来进行和外界的传输，可以通过internet、 cdma或者gsm网络等，只需要arm7设计相应的传输接口即可。至于arm7与编码卡通信可以通过并口、串口、usb口、pci接口等方式实现。其中pci 接口方式易于arm7与编码器高速传输数据，因此可以采用pci接口。编码后的数据通过dsp的hpi、pci桥芯片、pci总线到达arm7。arm7通过dsp的hpi直接对dsp的存储空间进行访问。
3 软件设计及优化
3.1 视频采集
本系统在视频采集中设计了一个数据结构将空间连续的先行缓冲区转化为一个环形的缓冲区，其简单的示意图如图4所示。
采用此方法只要为这个缓冲区分配足够大的空间，使其中存放的图像帧的数目至少大于3，这样就可以保证在对图像数据进行处理的同时还可以同步进行新的图像数据的采集，而不会发生任何数据冲突。系统将会永远保留环形缓冲区中最旧的n帧图像直至被系统取走。
3.2 视频编码
mpeg-4的视频编码是基于对象的视频编码，它仍然采用传统的预测编码、运动补偿、dct变换构成的混合编码方式。编码器的核心算法包括运动估计、dct/idct、量化、vlc 等,其中运动估计占据整个编码器近四分之一的运算量。因此，研究适合dsp 结构的、在速度和编码质量之间具有良好折中的运动估计算法是实现实时编码的一个关键问题。
在视频编码中应该采用块匹配的运动估计算法，但传统的块匹配算法在匹配速度上达不到满意的效果，因此本系统采用了在三步搜索算法的基础上改进的四步搜索的块匹配算法。
四步搜索算法描述如下：
（1）搜索匹配点组成一个菱形窗口，如图5所示。初始的9个匹配点为菱形的4个顶点、4条边的中点及菱形的中心点，如图5中的实心点。对每个点计算sad的值，选取sad最小的点。如果该点是此次搜索窗口的中心则跳到第4步，否则到第2步。
图5 四步搜索算法示意图
（2）以sad最小的点为新的菱形匹配点窗口的中心点，其余的匹配点的选取按下面的原则进行。
a)如果sad最小的点是当前搜索窗口的角上的点，如a点，则取与a点不相邻的另外5个点，如图5中的形如的点。选取sad最小的点，并到第3步；
b）如果sad最小的点是当前搜索窗口的边上的点，如b点，则取与b点不相邻的另外3个点，如图5中的形如的点。选取sad最小的点，并到第3步；
c）如果sad最小的点是当前搜索窗口的中心点c点，则到第4步；
（3）搜索模式同2，最后都到第4步。
（4）选取周围的四个点作为匹配点，步长改为1，如图5中所示的空心点。选取sad最小的点作为最终目标点。
四步搜索算法比三步搜索算法的复杂度更小，但精度并没有降低，同时算法规则易于实现软件流水,而非常适合在dsp 上实现。
3.3 软件优化
由于图像处理的数据量大,数据处理相关性高,并且具有严格的帧、场时间限制,因此如何针对图像处理的特点对dsp 进行优化编程,充分发挥其性能就成为提高整个系统性能的关键。
要想充分发挥dsp的运算能力，必须从它的硬件结构出发，最大限度地利用八个功能单元，使用软件流水线，尽量让程序无冲突地并行执行。一般循环体都满足并行处理的条件，并且循环体往往是程序中耗时最长的。因此在进行优化时将重点放在循环体上。
1) dsp跳转指令的优化
dsp的指令多为单周期指令，但是转移类指令却通常要耗费较多的时钟周期，每个跳转都有5个延迟间隙，从性能上考虑是一项很耗时的工作，因此应尽可能地减少程序中的分支。
2) 使用库函数
ti公司对tms320c6000的用户提供了功能强大的image lib库支持。在这个库中，包含许多常用函数，可以完成dct/idct变换、小波变换、dct量化、自适应滤波等功能。这些函数都是优化过的，完全能够实现软件流水，效率很高。
3）存储空间的考虑
dsp存储空间的配置十分重要。因为dsp对不同的存储单元的访问速度是有区别的，对片内寄存器的访问速度最快，对片内ram的访问速度比片外ram的访问速度快。因此合理地配置和使用存储空间，对系统整体效率影响很大。应该尽可能地把访问比较频繁的常数表和代码段装入片内ram，如果过大，则把其中一部分装入片外存储器。
4）混合编程
不同于传统的vliw ,veloci ti 采用了多种先进技术,从而使得dsp的c编译器具有很高的效率,我们称之为面向c语言结构的dsp芯片。其平均编译效率可以达到手工汇编的84 %。这使得在绝大多数应用中我们可以采用c 语言编写程序从而充分利用大量用c 描述的算法程序,并获得远胜于传统dsp程序的可维护性、可移植性、可继承性,缩短开发周期。
虽然c6000的c编译器有如此高的编译效率，但是对于mpeg-4这样复杂的算法，只运用c语言是远远不够的，一般采用c语言和汇编语言相结合的方式来完成程序设计。程序设计流程如下：先写c代码并对其优化，如果不能达到预期的运行效率，则编写汇编代码来提高效率。
4 总结
该系统非常灵活，支持的视频输入为pal制或ntsc制式的标准模拟视频信号，输入的视频信号既可以是复合视频信号，也可以是s-video信号。并支持多分辨率，分别为full、cif和qcif，可以满足多种应用的需求。测试证明经过以上的优化可以实现视频图像的实时压缩，同时系统运行可靠、功耗低。
2025年美国储能市场部署的储能系统装机容量将会增长五倍
矽乃拿半导体正式与世强签署授权代理协议
电子协同制造平台捷配宣布完成2亿元B轮融资
爱特梅尔发布全新ARM Cortex-M0+微控制器系列
苹果5s引领新潮流，协同处理器前景看好
基于DSP的实时图像处理系统
12位A/D转换器AD574
用于大功率的三相AC-DC电源转换
德索LVDS线束加工材料选择
英特尔On产业创新峰会精彩抢先看
摩拜、ofo参加中协共享单车约谈会,未来共享单车有望免押金
构建高电压下定的电极/电解质界面
各大厂商接连发布5G手机，那我买4G手机还合算吗？
新一代AirPods蓝牙无线耳机官方广告疑似泄露 后经证实为假消息
新苹果手机将增加长按触控功能
谁来拯救无人机售后天价维修费，大疆优化售后服务体验
稳压器和直流转换器的不同功能
安科瑞基于物联网表计的综合能源管理解决方案
索尼将为苹果头戴式设备供应微型显示屏，或将明年推出
高通推出首款5G SoC，骁龙865还尚未发布
引言
本文设计了基于tms320c6000系列dsp的mpeg-4编码器。将摄像头获取的图像以mpeg-4标准进行实时压缩并通过vga实时显示，同时把压缩好的数据通过pci总线传输给arm控制器，经由arm根据实际的需要进行视频数据的网络传输。
mpeg-4 是一种开放性标准，其中许多部分都没有规定，可以加入一些新的算法，因此采用通用dsp 能够随时更新算法、优化算法，使得编码效率更高。由于mpeg-4 编码算法复杂，需要存储的数据量大，无论是存储空间分配、数据传输还是运算速度对dsp来说都是挑战。
c6000系列dsp是ti公司生产的高档dsp。这一系列dsp都是基velocititm构架的vliw dsp，它在每个周期可以执行八条32bit 的指令， 具有高达200mhz的cpu，从而使得其运算能力达到1600mips。而6416在600mhz主频下，只利用50%的运算能力就可以同时进行单通道mpeg-4视频编码、单通道mpeg-4视频解码和单通道mpeg-2视频编码的处理。同时其对外接口灵活、开发工具齐全，被大多数嵌入式图像实时压缩系统所采用。因此本系统采用ti公司tms320c6416芯片为核心处理器。
1．tms320c6416的结构及特点
dsp的cpu结构如图1所示，它具有两个通道，每个通道具有4个功能单元（1个乘法器和3个算术逻辑单元），16个32位通用寄存器，每个通道的功能单元可以随意访问本通道的寄存器。cpu还有两个交叉单元，通过它们，一个通道的功能单元可以访问另一个通道的寄存器。另外， cpu还具有256 bit宽的数据和程序通道，可以使程序存储器在每个时钟周期提供8条并行执行指令。这种cpu结构是dsp具有vliw结构的最基本条件。此dsp的存储空间映射为内部存储器、内部外设及扩展存储器。其中内部存储器由64kb内部程序存储器和数据存储器构成，内部程序存储器可以映射到cpu地址空间或者作为cache操作。内部和外部数据存储器均可通过cpu、dma或hpi（host interface）方式访问，hpi接口使上位机可以访问dsp的存储空间。
2．系统硬件设计
本系统主要分为三部分，分别是视频采集模块、视频的mpeg-4编码模块和视频传输模块，其结构框图如图2所示。
2.1 视频采集
在本系统中，对输入的模拟视频信号的采集是由bt835视频decoder完成的，支持的视频输入为pal制或ntsc制式的标准模拟视频信号，输入的视频信号既可以是复合视频信号，也可以是s-video信号，输出为4:2:2的yuv格式的图像数据。
图3所示为dsp 模拟视频输入接口原理框图。标准模拟视频信号经预处理进入a/ d转换器；同时又经时钟产生电路得到与行同步同相位的a/ d 转换时钟,这样可以使得每行的采样点均为整数。为了确保视频数据整行地被采集到dsp 中进行处理,特将行同步信号作为fifo 读入数据的起点。同时,行同步、场同步以及奇偶场标志信号也直接进入dsp ,使其能够确定读入的视频数据在一帧中的具体位置。为了增强系统的实时性,这里利用tms320c6416 dsp 的dma(直接存储器存取) 通道背景操作特性,以使dsp 和外设的数据交换能够与其内部cpu 的高速运算操作同时进行。而fifo 的功能在于,通过它的缓冲,使得dsp 可以从容地与a/ d 之外的其它外设交换数据。
其中arm7的作用是时钟的产生及控制视频采集芯片，将采得的数据从8位或16位转化为32位，并且使数据按照y、u、v分开的方式排列。这样相当于对采集到的数据进行了一次预处理，以便于视频编码使用。另外arm7将32位宽的数据输出给32位的fifo。用32位的fifo以及将视频数据转换为32位，可以使dsp读取视频数据时32位的数据总线没有空闲，从而提高dsp读取视频数据的效率；这里使用fifo是为了减少dsp读取数据的时间、降低高速设备和低速设备的不匹配。每次fifo半满时，arm7会给dsp发送中断信号， 并且在中断处理程序中使用dma方式读取视频数据；如果不使用arm7，dsp会频繁中断，从而花费大量时间在入栈、出栈以及寄存器的设置上。
2.2 视频的mpeg-4编码模块
dsp读入视频数据后进行先期处理，如将yuv格式转为rgb格式等；然后进行mpeg-4视频编码。在这一过程中，数据访问通常要占用50%的时间，算术运算要占用30%的时间，控制要占用20%的时间。因为需要进行运动估计和运动补偿，在数据存储器中通常保存一帧i（原始帧）帧图像和至少一帧p（预测帧）帧图像，这些图像占用的空间都比较大，因此放在外部存储器sdram里。在编码过程中还要存储dct系数、运动向量、量化矩阵、可变长编码表、z形编码表等，由于占用较小的存储空间而且会反复用到，因此把它们放在片内存储器中。
2.3 视频传输
与pc 机不同,dsp 片内片外的两级存储体系结构以及数据分配原则决定了编码器实现过程中必然存在大量的数据传输,因而必须有效地管理以减少数据
传输所需的时间。
至于数据的采集部分可以利用dsp的dma来进行。tms320c6000 dsp 大都具有几个独立的dma 通道,dma 的特点是可以在不受cpu 干预的情况下完成数据从源地址到目的地址的搬移。
但是dma 只适合于数据块的整体搬移,对于不同数据结构间的数据传输,前dsp 的dma 控制器就无能为力了。所以可以借助arm7控制dspdma 来完成视频编码中复杂的数据传输。
完成编码后的视频数据通过arm7来进行和外界的传输，可以通过internet、 cdma或者gsm网络等，只需要arm7设计相应的传输接口即可。至于arm7与编码卡通信可以通过并口、串口、usb口、pci接口等方式实现。其中pci 接口方式易于arm7与编码器高速传输数据，因此可以采用pci接口。编码后的数据通过dsp的hpi、pci桥芯片、pci总线到达arm7。arm7通过dsp的hpi直接对dsp的存储空间进行访问。
3 软件设计及优化
3.1 视频采集
本系统在视频采集中设计了一个数据结构将空间连续的先行缓冲区转化为一个环形的缓冲区，其简单的示意图如图4所示。
采用此方法只要为这个缓冲区分配足够大的空间，使其中存放的图像帧的数目至少大于3，这样就可以保证在对图像数据进行处理的同时还可以同步进行新的图像数据的采集，而不会发生任何数据冲突。系统将会永远保留环形缓冲区中最旧的n帧图像直至被系统取走。
3.2 视频编码
mpeg-4的视频编码是基于对象的视频编码，它仍然采用传统的预测编码、运动补偿、dct变换构成的混合编码方式。编码器的核心算法包括运动估计、dct/idct、量化、vlc 等,其中运动估计占据整个编码器近四分之一的运算量。因此，研究适合dsp 结构的、在速度和编码质量之间具有良好折中的运动估计算法是实现实时编码的一个关键问题。
在视频编码中应该采用块匹配的运动估计算法，但传统的块匹配算法在匹配速度上达不到满意的效果，因此本系统采用了在三步搜索算法的基础上改进的四步搜索的块匹配算法。
四步搜索算法描述如下：
（1）搜索匹配点组成一个菱形窗口，如图5所示。初始的9个匹配点为菱形的4个顶点、4条边的中点及菱形的中心点，如图5中的实心点。对每个点计算sad的值，选取sad最小的点。如果该点是此次搜索窗口的中心则跳到第4步，否则到第2步。
图5 四步搜索算法示意图
（2）以sad最小的点为新的菱形匹配点窗口的中心点，其余的匹配点的选取按下面的原则进行。
a)如果sad最小的点是当前搜索窗口的角上的点，如a点，则取与a点不相邻的另外5个点，如图5中的形如的点。选取sad最小的点，并到第3步；
b）如果sad最小的点是当前搜索窗口的边上的点，如b点，则取与b点不相邻的另外3个点，如图5中的形如的点。选取sad最小的点，并到第3步；
c）如果sad最小的点是当前搜索窗口的中心点c点，则到第4步；
（3）搜索模式同2，最后都到第4步。
（4）选取周围的四个点作为匹配点，步长改为1，如图5中所示的空心点。选取sad最小的点作为最终目标点。
四步搜索算法比三步搜索算法的复杂度更小，但精度并没有降低，同时算法规则易于实现软件流水,而非常适合在dsp 上实现。
3.3 软件优化
由于图像处理的数据量大,数据处理相关性高,并且具有严格的帧、场时间限制,因此如何针对图像处理的特点对dsp 进行优化编程,充分发挥其性能就成为提高整个系统性能的关键。
要想充分发挥dsp的运算能力，必须从它的硬件结构出发，最大限度地利用八个功能单元，使用软件流水线，尽量让程序无冲突地并行执行。一般循环体都满足并行处理的条件，并且循环体往往是程序中耗时最长的。因此在进行优化时将重点放在循环体上。
1) dsp跳转指令的优化
dsp的指令多为单周期指令，但是转移类指令却通常要耗费较多的时钟周期，每个跳转都有5个延迟间隙，从性能上考虑是一项很耗时的工作，因此应尽可能地减少程序中的分支。
2) 使用库函数
ti公司对tms320c6000的用户提供了功能强大的image lib库支持。在这个库中，包含许多常用函数，可以完成dct/idct变换、小波变换、dct量化、自适应滤波等功能。这些函数都是优化过的，完全能够实现软件流水，效率很高。
3）存储空间的考虑
dsp存储空间的配置十分重要。因为dsp对不同的存储单元的访问速度是有区别的，对片内寄存器的访问速度最快，对片内ram的访问速度比片外ram的访问速度快。因此合理地配置和使用存储空间，对系统整体效率影响很大。应该尽可能地把访问比较频繁的常数表和代码段装入片内ram，如果过大，则把其中一部分装入片外存储器。
4）混合编程
不同于传统的vliw ,veloci ti 采用了多种先进技术,从而使得dsp的c编译器具有很高的效率,我们称之为面向c语言结构的dsp芯片。其平均编译效率可以达到手工汇编的84 %。这使得在绝大多数应用中我们可以采用c 语言编写程序从而充分利用大量用c 描述的算法程序,并获得远胜于传统dsp程序的可维护性、可移植性、可继承性,缩短开发周期。
虽然c6000的c编译器有如此高的编译效率，但是对于mpeg-4这样复杂的算法，只运用c语言是远远不够的，一般采用c语言和汇编语言相结合的方式来完成程序设计。程序设计流程如下：先写c代码并对其优化，如果不能达到预期的运行效率，则编写汇编代码来提高效率。
4 总结
该系统非常灵活，支持的视频输入为pal制或ntsc制式的标准模拟视频信号，输入的视频信号既可以是复合视频信号，也可以是s-video信号。并支持多分辨率，分别为full、cif和qcif，可以满足多种应用的需求。测试证明经过以上的优化可以实现视频图像的实时压缩，同时系统运行可靠、功耗低。
2025年美国储能市场部署的储能系统装机容量将会增长五倍
矽乃拿半导体正式与世强签署授权代理协议
电子协同制造平台捷配宣布完成2亿元B轮融资
爱特梅尔发布全新ARM Cortex-M0+微控制器系列
苹果5s引领新潮流，协同处理器前景看好
基于DSP的实时图像处理系统
12位A/D转换器AD574
用于大功率的三相AC-DC电源转换
德索LVDS线束加工材料选择
英特尔On产业创新峰会精彩抢先看
摩拜、ofo参加中协共享单车约谈会,未来共享单车有望免押金
构建高电压下定的电极/电解质界面
各大厂商接连发布5G手机，那我买4G手机还合算吗？
新一代AirPods蓝牙无线耳机官方广告疑似泄露 后经证实为假消息
新苹果手机将增加长按触控功能
谁来拯救无人机售后天价维修费，大疆优化售后服务体验
稳压器和直流转换器的不同功能
安科瑞基于物联网表计的综合能源管理解决方案
索尼将为苹果头戴式设备供应微型显示屏，或将明年推出
高通推出首款5G SoC，骁龙865还尚未发布