基于DSP的视频采集驱动程序的实现
关键词：
dsp , 驱动 , 视频采集
视频终端的核心是图像的数字化处理模块。基于pc机的数字视频处理，给出了算法研究的途径，而基于高速dsp的应用模块才提供了实时嵌入式视频处理的可能。然而，基于dsp的海量视频数据的实时处理的关键则是实时、合理的视频数据采集。本文针对自行研制的基于tms320dm642(以下简称dm642)dsp的视频处理板卡，使其在c64x系列dsp的实时操作系统dsp/bios的环境下运行，实现基于类/微驱动模型的视频采集驱动程序，并进一步描述采用edma(增强的直接存储器存取控制器)的数字视频图像信号的实时传输。
1 类/微驱动程序模型
c64x系列的dsp系统给出了类/微驱动模型的驱动程序结构，采用该模型进行驱动程序设计，应用程序可以复用绝大部分相似设备的驱动程序，从而提高驱动程序的开发效率。类/微驱动模型结构如图1所示，该模型在功能上将驱动程序分为依赖硬件层(微驱动)和不依赖硬件层(类驱动)两层，并在两层之间给出通用接口。上层的应用程序不直接控制微驱动，而是通过类驱动对其进行控制。每一个类驱动在应用程序代码中表现为一个api函数，并通过标准微驱动的接口iom与微驱动进行通信。
在类/微驱动模型中，类驱动通常用于完成多线程i/o请求的序列化功能和同步功能，同时对设备实例进行管理。类驱动通过每个外部设备独有的微驱动对设备进行操作。微驱动采用芯片支持库控制外设的寄存器、内存和中断资源。微驱动程序必须将特定的外部设备有效地表示给类驱动。
类驱动使用dsp/bios中的api函数实现诸如同步等的系统服务，dsp/bios定义了三种类驱动模块：管道管理模块(pip)、流输入输出管理模块(sio)和通用输入输出模块(gio)。在pip和sio类驱动中，调用的api函数已经存在于dsp/bios的pip和sio模块中了，这些api函数需将参数传给相应的适配模块，才能与微驱动交换数据。而在gio类驱动中，调用的api函数则直接与微驱动通信。
2 基于dm642的视频采集驱动
2.1 硬件结构
笔者利用ti公司的多媒体处理芯片dm642自行研制了嵌入式视频处理板卡。卡上的主要组成模块有视频采集模块、视频处理模块以及网络发送模块，其中视频采集模块主要由dsp芯片dm642、视频a/d 转换芯片saa7115和同步动态存储器芯片sdram等组成，如图2所示。来自摄像头的视频信号通过saa7115进行数字化处理，输出的数字视频信号经过视频端口的内部fifo缓冲后，由dm642通过edma将数据传送到片外sdram中，以便供视频应用程序使用。
主芯片dm642的处理能力达到4800mips，它的最大特点是芯片内部集成了三个可配置的视频端口[5]，这些视频端口提供了与通用视频a/d转换芯片的无缝接口，因而无需外加cpld(复杂可编程逻辑器件)和fifo就可以满足系统设计的要求。saa7115支持六路cvbs(复合模拟视频输入)或三路s－video (s端子信号)输入，支持多种格式的数字rgb和yuv视频信号输出。dm642通过iic总线控制saa7115的内部寄存器。
采用类/微驱动模型编写dm642芯片视频端口的视频采集驱动程序，驱动必须满足如下几个基本功能：
· 可同时处理dm642的三个视频端口；
· 支持应用程序配置视频采集的参数，支持获取图像数据；
· 支持场图像的采集，支持对cvbs和s－video两种模拟信号的采集。
在视频采集过程中，最重要的是对视频数据进行实时控制和有效的传输，因此需要使用硬件中断，并在中断服务程序中，根据视频端口内部fifo的状态通过edma完成视频数据的读入。
2.2 视频采集驱动程序的框架构建
视频采集驱动程序包括类驱动和微驱动两个模块，视频采集驱动程序的结构框架如图3所示。
类驱动使用gio模块，gio模块的传输模式是基于流输入输出模块的同步i/o模式的，更适合文件系统i/o，如视频采集的应用。该模块的主要api函数的描述如表1所示。
在图3中，应用程序使用gio_create函数创建gio通道，并通过调用gio_submit函数直接与微驱动的iom交换数据，完成视频数据的采集。
应用程序通过gio类驱动调用微驱动的标准api函数，这些标准api函数的描述如表2所示。这些规定的函数将放入微驱动的函数接口表(iom_fxns)中，以供应用程序通过gio类驱动调用。
在图3中，微驱动的iom接口将应用程序获取图像的命令打包生成数据包，并向微驱动发送。数据包的格式如下： typedef struct iom_packet {
que_elem link; /* 数据包队列 */
ptr addr; /* 数据地址 */
uns size; /* 数据长度 */
arg misc; /* 保留使用 */
arg arg; /* 应用程序 */
uns cmd; /* 命令字段 */
int status; /* 命令完成状态 */
} iom_packet;
数据包中数据长度与数据地址两字段由应用程序提供，分别表示获取图像的大小及图像存储目的地址。微驱动依据数据包中的命令字段，调用mdsubmitchan函数将数据包放入数据包队列，等待中断服务函数的处理。视频采集中的硬件中断由视频端口内部fifo的状态触发，中断服务程序根据数据包中的数据地址字段，通过edma将视频端口内部fifo中的视频数据读入sdram中的图像存储目的地址。依据数据包中的数据长度字段，在完成相应大小图像的采集后，中断服务程序还将完成以下功能：出列数据包；设置下一次传送或服务请求；设置数据包中的命令完成状态，并向应用程序返回。
3 视频采集驱动中的视频数据传输
视频端口内部fifo与sdram之间的视频数据传输通常有以下几种方法：软件查询、中断和edma方法。软件查询消耗cpu的资源太大，是不可取的，中断数据传输虽可节省很多cpu时间，但没有发挥dm642的edma资源。edma[6]是在dma基础上发展起来的，用于在没有cpu参与的情况下完成不同存储空间之间的数据搬移。dm642提供了64个独立的edma通道，通道的优先级可编程设置，在没有cpu参与的情况下实现片内存储器、片内外设以及外部存储空间之间的数据高速搬移。因此，为减轻cpu的负担，发挥dm642的强大的外部数据传输能力，视频采集驱动使用edma完成视频数据从fifo到sdram的传输。
3.1 基于双edma通道的视频数据传输
利用edma将fifo中的数据传输到sdram中有两种方法，但是它们的性能却差别很大。一种方法是利用edma将fifo中的数据直接传送到sdram中。这种方法虽然简单且易于操作，但它没有充分发挥sdram的页读写的优越性，原因在于edma读取fifo和写入sdram时分为两个不同过程来实现，因此emif(外部存储器接口)的时序不断地在两者之间切换，造成很大的时间浪费，所以这种传输效率不高。
由于dm642视频端口的内部fifo提供“满”、“半满”、“空”三种状态，另一方法使用两个edma通道进行数据传输。以亮度信号的传输为例，当用于存储亮度分量的内部fifo半满(640字节)时，触发dm642的硬件中断，在中断服务程序中启用一个edma通道将数据从fifo中读出，存放到缓冲区buf中。传输完毕后，启动另一个edma通道将数据从buf中传输到sdram中。这样，两个edma通道分别进行读取fifo和写入sdram的操作，避免了emif时序的切换，可以保证edma的有效传输。
3.2 edma链表在场合成中的使用
在隔行扫描模式下，每帧分为两场，两场在时域上是分开的，但在数据处理时需要将两场合成一帧进行处理，因此要进行大量的数据搬移，占用了大量的cpu时间。通过edma链表可自动实现场合成，不需占用额外的cpu时间。
edma的参数ram存放了有关的传输参数，这些参数用于产生edma读写操作所需要的地址。如图4所示，在使用edma通道传输奇数场与偶数场时，分别使用不同的edma参数ram。两组参数ram的目的地址分别指向存储图像的第一行与第二行象素的首地址，并且两组参数ram通过链接地址循环相连。在edma通道的传输中，奇数场传输任务的结束会自动地根据当前参数ram的链接地址装载传输偶数场的参数ram，又由两组参数ram的目的地址可知，奇数场与偶数场分别经edma通道传输至帧缓冲区后被隔行存储，这样在无需占用额外cpu时间的前提下就实现了场合成。
4 视频采集驱动程序的调用实例
dsp/bios应用程序通过gio类驱动调用微驱动之前，需使用dsp/bios配置工具注册微驱动，将其命名为vp_capture，并启动gio模块。
在应用程序中，gio_create函数使用已注册的微驱动vp_capture创建gio通道，通过调用gio_submit函数完成应用程序对视频数据的采集操作。部分源代码如下：
(1) 创建通道
gio_handle capchan；
int status;
capchan = gio_create('vp_capture'),
iom_input, &status, (ptr)&dm642_vcapparams, null);
(2) 发送获取图像的数据包
gio_submit(capchan, iom_read, bufp, null, null)；其中，dm642_vcapparams包含了视频采集的初始化参数，如图像大小、同步方式等；bufp用于指出采集图像的存储地址。不同的视频应用程序在使用类驱动时，可以通过改变这两个变量复用视频设备。这样，极大地提高了驱动程序的工作效率，对视频外设的控制也大大简化了。
使用类/微驱动模型开发的视频采集驱动程序，有效地解决了图像采集和图像实时处理之间的关系，在几乎不需要cpu的干涉下，利用edma完成了数字视频图像数据的高速传输；通过使用类驱动复用驱动程序，视频应用程序的开发效率获得了极大的提高。视频采集驱动程序现已在自主开发的视频处理板卡上运行良好，为进一步开发远程视频监控系统、可视电话等视频应用打下了坚实的基础。
基于ARM9的智能导游仪设计
国芯思辰对标TI THS6212，线驱动器CN6212应用于电力线载波方案
无人机编程轻松学，神奇积木块全面使用指南！
一体化模块贴片机
电路权衡使电池输入电源的噪声降至最低
基于DSP的视频采集驱动程序的实现
高性能云计算，华为云服务器行业遥遥领先
iRobot给力高交会,开启机器人家居新时代
RedBoot引导程序在SmartARM2200开发板中的移植参考研究
小米宣布将降低印度的Mi True Wireless耳机2的价格
RoboSense速腾聚创双激光雷达助力腾势N7实现全场景智能驾驶辅助
借助高能效GaN转换器，提高充电器和适配器设计的功率密度
BA82068+BA5104电风扇红外遥控电路图,BA82068+BA5104遥控电路
电力线载波扩频通信调制模块的设计
携手姜文探索影像新可能！OPPO Find X3系列即将发布
在医疗领域中AI是必不可少的算法教育
RT-Thread发布AT组件，让AT设备开发更简单
阻尼二极管的作用是什么
力士乐变量柱塞泵的特点都有哪些
浪潮存储在全闪存储领域的产品及技术布局
视频终端的核心是图像的数字化处理模块。基于pc机的数字视频处理，给出了算法研究的途径，而基于高速dsp的应用模块才提供了实时嵌入式视频处理的可能。然而，基于dsp的海量视频数据的实时处理的关键则是实时、合理的视频数据采集。本文针对自行研制的基于tms320dm642(以下简称dm642)dsp的视频处理板卡，使其在c64x系列dsp的实时操作系统dsp/bios的环境下运行，实现基于类/微驱动模型的视频采集驱动程序，并进一步描述采用edma(增强的直接存储器存取控制器)的数字视频图像信号的实时传输。
1 类/微驱动程序模型
c64x系列的dsp系统给出了类/微驱动模型的驱动程序结构，采用该模型进行驱动程序设计，应用程序可以复用绝大部分相似设备的驱动程序，从而提高驱动程序的开发效率。类/微驱动模型结构如图1所示，该模型在功能上将驱动程序分为依赖硬件层(微驱动)和不依赖硬件层(类驱动)两层，并在两层之间给出通用接口。上层的应用程序不直接控制微驱动，而是通过类驱动对其进行控制。每一个类驱动在应用程序代码中表现为一个api函数，并通过标准微驱动的接口iom与微驱动进行通信。
在类/微驱动模型中，类驱动通常用于完成多线程i/o请求的序列化功能和同步功能，同时对设备实例进行管理。类驱动通过每个外部设备独有的微驱动对设备进行操作。微驱动采用芯片支持库控制外设的寄存器、内存和中断资源。微驱动程序必须将特定的外部设备有效地表示给类驱动。
类驱动使用dsp/bios中的api函数实现诸如同步等的系统服务，dsp/bios定义了三种类驱动模块：管道管理模块(pip)、流输入输出管理模块(sio)和通用输入输出模块(gio)。在pip和sio类驱动中，调用的api函数已经存在于dsp/bios的pip和sio模块中了，这些api函数需将参数传给相应的适配模块，才能与微驱动交换数据。而在gio类驱动中，调用的api函数则直接与微驱动通信。
2 基于dm642的视频采集驱动
2.1 硬件结构
笔者利用ti公司的多媒体处理芯片dm642自行研制了嵌入式视频处理板卡。卡上的主要组成模块有视频采集模块、视频处理模块以及网络发送模块，其中视频采集模块主要由dsp芯片dm642、视频a/d 转换芯片saa7115和同步动态存储器芯片sdram等组成，如图2所示。来自摄像头的视频信号通过saa7115进行数字化处理，输出的数字视频信号经过视频端口的内部fifo缓冲后，由dm642通过edma将数据传送到片外sdram中，以便供视频应用程序使用。
主芯片dm642的处理能力达到4800mips，它的最大特点是芯片内部集成了三个可配置的视频端口[5]，这些视频端口提供了与通用视频a/d转换芯片的无缝接口，因而无需外加cpld(复杂可编程逻辑器件)和fifo就可以满足系统设计的要求。saa7115支持六路cvbs(复合模拟视频输入)或三路s－video (s端子信号)输入，支持多种格式的数字rgb和yuv视频信号输出。dm642通过iic总线控制saa7115的内部寄存器。
采用类/微驱动模型编写dm642芯片视频端口的视频采集驱动程序，驱动必须满足如下几个基本功能：
· 可同时处理dm642的三个视频端口；
· 支持应用程序配置视频采集的参数，支持获取图像数据；
· 支持场图像的采集，支持对cvbs和s－video两种模拟信号的采集。
在视频采集过程中，最重要的是对视频数据进行实时控制和有效的传输，因此需要使用硬件中断，并在中断服务程序中，根据视频端口内部fifo的状态通过edma完成视频数据的读入。
2.2 视频采集驱动程序的框架构建
视频采集驱动程序包括类驱动和微驱动两个模块，视频采集驱动程序的结构框架如图3所示。
类驱动使用gio模块，gio模块的传输模式是基于流输入输出模块的同步i/o模式的，更适合文件系统i/o，如视频采集的应用。该模块的主要api函数的描述如表1所示。
在图3中，应用程序使用gio_create函数创建gio通道，并通过调用gio_submit函数直接与微驱动的iom交换数据，完成视频数据的采集。
应用程序通过gio类驱动调用微驱动的标准api函数，这些标准api函数的描述如表2所示。这些规定的函数将放入微驱动的函数接口表(iom_fxns)中，以供应用程序通过gio类驱动调用。
在图3中，微驱动的iom接口将应用程序获取图像的命令打包生成数据包，并向微驱动发送。数据包的格式如下： typedef struct iom_packet {
que_elem link; /* 数据包队列 */
ptr addr; /* 数据地址 */
uns size; /* 数据长度 */
arg misc; /* 保留使用 */
arg arg; /* 应用程序 */
uns cmd; /* 命令字段 */
int status; /* 命令完成状态 */
} iom_packet;
数据包中数据长度与数据地址两字段由应用程序提供，分别表示获取图像的大小及图像存储目的地址。微驱动依据数据包中的命令字段，调用mdsubmitchan函数将数据包放入数据包队列，等待中断服务函数的处理。视频采集中的硬件中断由视频端口内部fifo的状态触发，中断服务程序根据数据包中的数据地址字段，通过edma将视频端口内部fifo中的视频数据读入sdram中的图像存储目的地址。依据数据包中的数据长度字段，在完成相应大小图像的采集后，中断服务程序还将完成以下功能：出列数据包；设置下一次传送或服务请求；设置数据包中的命令完成状态，并向应用程序返回。
3 视频采集驱动中的视频数据传输
视频端口内部fifo与sdram之间的视频数据传输通常有以下几种方法：软件查询、中断和edma方法。软件查询消耗cpu的资源太大，是不可取的，中断数据传输虽可节省很多cpu时间，但没有发挥dm642的edma资源。edma[6]是在dma基础上发展起来的，用于在没有cpu参与的情况下完成不同存储空间之间的数据搬移。dm642提供了64个独立的edma通道，通道的优先级可编程设置，在没有cpu参与的情况下实现片内存储器、片内外设以及外部存储空间之间的数据高速搬移。因此，为减轻cpu的负担，发挥dm642的强大的外部数据传输能力，视频采集驱动使用edma完成视频数据从fifo到sdram的传输。
3.1 基于双edma通道的视频数据传输
利用edma将fifo中的数据传输到sdram中有两种方法，但是它们的性能却差别很大。一种方法是利用edma将fifo中的数据直接传送到sdram中。这种方法虽然简单且易于操作，但它没有充分发挥sdram的页读写的优越性，原因在于edma读取fifo和写入sdram时分为两个不同过程来实现，因此emif(外部存储器接口)的时序不断地在两者之间切换，造成很大的时间浪费，所以这种传输效率不高。
由于dm642视频端口的内部fifo提供“满”、“半满”、“空”三种状态，另一方法使用两个edma通道进行数据传输。以亮度信号的传输为例，当用于存储亮度分量的内部fifo半满(640字节)时，触发dm642的硬件中断，在中断服务程序中启用一个edma通道将数据从fifo中读出，存放到缓冲区buf中。传输完毕后，启动另一个edma通道将数据从buf中传输到sdram中。这样，两个edma通道分别进行读取fifo和写入sdram的操作，避免了emif时序的切换，可以保证edma的有效传输。
3.2 edma链表在场合成中的使用
在隔行扫描模式下，每帧分为两场，两场在时域上是分开的，但在数据处理时需要将两场合成一帧进行处理，因此要进行大量的数据搬移，占用了大量的cpu时间。通过edma链表可自动实现场合成，不需占用额外的cpu时间。
edma的参数ram存放了有关的传输参数，这些参数用于产生edma读写操作所需要的地址。如图4所示，在使用edma通道传输奇数场与偶数场时，分别使用不同的edma参数ram。两组参数ram的目的地址分别指向存储图像的第一行与第二行象素的首地址，并且两组参数ram通过链接地址循环相连。在edma通道的传输中，奇数场传输任务的结束会自动地根据当前参数ram的链接地址装载传输偶数场的参数ram，又由两组参数ram的目的地址可知，奇数场与偶数场分别经edma通道传输至帧缓冲区后被隔行存储，这样在无需占用额外cpu时间的前提下就实现了场合成。
4 视频采集驱动程序的调用实例
dsp/bios应用程序通过gio类驱动调用微驱动之前，需使用dsp/bios配置工具注册微驱动，将其命名为vp_capture，并启动gio模块。
在应用程序中，gio_create函数使用已注册的微驱动vp_capture创建gio通道，通过调用gio_submit函数完成应用程序对视频数据的采集操作。部分源代码如下：
(1) 创建通道
gio_handle capchan；
int status;
capchan = gio_create('vp_capture'),
iom_input, &status, (ptr)&dm642_vcapparams, null);
(2) 发送获取图像的数据包
gio_submit(capchan, iom_read, bufp, null, null)；其中，dm642_vcapparams包含了视频采集的初始化参数，如图像大小、同步方式等；bufp用于指出采集图像的存储地址。不同的视频应用程序在使用类驱动时，可以通过改变这两个变量复用视频设备。这样，极大地提高了驱动程序的工作效率，对视频外设的控制也大大简化了。
使用类/微驱动模型开发的视频采集驱动程序，有效地解决了图像采集和图像实时处理之间的关系，在几乎不需要cpu的干涉下，利用edma完成了数字视频图像数据的高速传输；通过使用类驱动复用驱动程序，视频应用程序的开发效率获得了极大的提高。视频采集驱动程序现已在自主开发的视频处理板卡上运行良好，为进一步开发远程视频监控系统、可视电话等视频应用打下了坚实的基础。
基于ARM9的智能导游仪设计
国芯思辰对标TI THS6212，线驱动器CN6212应用于电力线载波方案
无人机编程轻松学，神奇积木块全面使用指南！
一体化模块贴片机
电路权衡使电池输入电源的噪声降至最低
基于DSP的视频采集驱动程序的实现
高性能云计算，华为云服务器行业遥遥领先
iRobot给力高交会,开启机器人家居新时代
RedBoot引导程序在SmartARM2200开发板中的移植参考研究
小米宣布将降低印度的Mi True Wireless耳机2的价格
RoboSense速腾聚创双激光雷达助力腾势N7实现全场景智能驾驶辅助
借助高能效GaN转换器，提高充电器和适配器设计的功率密度
BA82068+BA5104电风扇红外遥控电路图,BA82068+BA5104遥控电路
电力线载波扩频通信调制模块的设计
携手姜文探索影像新可能！OPPO Find X3系列即将发布
在医疗领域中AI是必不可少的算法教育
RT-Thread发布AT组件，让AT设备开发更简单
阻尼二极管的作用是什么
力士乐变量柱塞泵的特点都有哪些
浪潮存储在全闪存储领域的产品及技术布局