嵌入式系统视频图像捕获研究
本文论述了嵌入式系统相关理论、嵌入式linux的基本概念，主要阐述了采用嵌入式linux进行视频图像数据的捕获、存储、显示等。采用的关键技术包括 v4l、framebuffer、数字图像格式变换等，提出了图像数据格式的变换方法。同时阐述了具体的实现方法。
1 嵌入式系统简介
嵌入式系统（embedded system）是指以应用为中心、以计算机技术为基础、软件硬件可裁剪、适应应用系统对功能、可靠性、成本、体积、功耗严格要求的专用计算机系统。根据ieee（国际电气和电子工程师协会）的定义，嵌入式系统是“控制、监视或者辅助设备、机器和车间运行的装置”，这个定义主要是从应用的角度进行定义的。[1]嵌入式系统的操作系统和功能软件集成于计算机硬件系统之中，也就是软件与硬件的一体化。嵌入式系统目的性或针对性很强，一般要求较高的实时性、稳定性。
2嵌入式linux操作系统
嵌入式linux是linux操作系统的一个分支。主要是对通常的linux进行裁减。最关键的是要进行实时化处理。在实时性要求不是太高的环境下采用linux具有很多优势。使用嵌入式linux技术开发嵌入式设备的最大方便是使开发工作从硬件与汇编程序转移到应用软件上来。[2]嵌入式linux系统架构包括三层：应用程序、系统共享库和linux内核。现有各种开源的linux版本，包括支持没有内存管理单元的cpu的uclinux、实时性非常好的rtai、qlinux等。[3]本文所采用的开发的系统是进行图像的实时捕获。由于实时性要求不高，同时考虑到linux下使用v4l开发视频程序具有很大的优越性，所以采用嵌入式linux作为开发环境。芯片主要采用三星公司生产的arm2410, 开发板采用北京博创公司的板卡。
3 采用v4l进行数据采集
3.1 采用v4l进行图像数据采集
v4l是linux下提供的一套设备驱动程序文件api，用于开发视频（video）、音频（audio）等领域的应用程序。由于在linux下设备都作为一个文件进行处理。所以可以通过打开相应的设备文件来获取设备的信息。由于本文是进行视频程序的开发，所以仅讲述有关视频相关的部分。
视频设备文件一般情况下在/dev/videox。其中x可以为0~63之间的整数。一般情况下为/deev/video0。当在开发板上通过usb接口将摄像头接入后。在程序中对文件video0进行读的操作就是对摄像头的操作。
在使用v4l之前首先需要将头文件videodev.h引入，如。相应的api文档在/usr /src/linux-2.4/documentation/video4linux/api.html下。同时在为了同相关的设备进行通信，需要一些结构体、变量和函数，所以需要包含其他的相关文件。如、
、 、 、 、 、 等。摄像头、v4l、设备驱动程序、嵌入式linux操作系统的关系用图1表示如下。
图1
具体的图像数据的捕获过程为：打开设备文件、查询和确认设备性能、设置捕获的图像的宽和高、设置色深、建立内存映射（后文阐述）、读取图像数据、关闭设备。[4]
具体的这个过程由于篇幅关系本文将不做具体阐述，读者可以查阅本文的参考文献3。在上述的过程中主要考虑的问题是内存的映射问题。为了读取数据首先需要将显示设备的地址映射到系统地址上来，这需要调用函数mmap（）。该函数返回的地址就是存放图像数据的地址。每一帧图像都偏移固定的长度。而摄像头取得图像会包含若干帧。这样通过周而复始的进行就可以将图像数据捕获下来。具体过程和涉及到的函数如下所示:
打开设备文件: int device = open (/dev/v4l/video0, o_rdwr);
内存映射：char* memorymap = (char*)mmap (0, memorybuffer.size, prot_read | prot_write, map_shared, device, 0);
图像数据memorymap + memorybuffer.offsets[bufferindex]
图2
3.2图像格式的转换。
通过上文所述取得图像数据后，实际就是一块地址。这时就可以进行各种图像处理或图像识别。问题的关键是图像数据是如何放置的。一般情况下，在计算机中一个像素点是由r、g、b三种颜色表示的。当然还存在其它的模式如pal等。但大多数为rgb模式。即使是rgb模式也存在很多种情况，如每一个像素由8个bit组成，这时r、g、b三种颜色的位数分别3、3、2。如果每一个像素由12个bit组成，则r、g、b三种颜色的位数分别4、4、4。如果每一个像素由16个bit组成，则r、g、b三种颜色的位数存在两种情况分别5、5、5，最高位舍弃，另一种情况为5、6、5。最容易处理、同时也是最常见的是24个bit组成的，这时r、g、b三种颜色的位数分别8、8、8。
在各种图像处理的程序中往往需要在两种格式之间转换。由于在笔者所采用的设备中，采集到的图像为24位，而显示设备为12位，这就需要在两种格式之间转换。至于怎样将图像数据显示到屏幕上在后文中阐述，下面将主要阐述如何在24位和12位之间转换。整个过程如图3所示。
图3
首先需要明确计算机中处理的数据是8位为基本单位的。所以，一个像素12位的图象格式可以通过两个像素24位为基本单位进行描述。其次，应该明确的是在从 8位数据到4位数据的转换中取得8位数据中的高4位，frame[index*3]&0xf0)；然后再取得下一个8位的高4位；左移4位和前面的数据取并，frame[index*3]&0xf0)|((frame[index*3+1]&0xf0)>>4。实现的代码如下：
*(fbp) = (frame[index*3]&0xf0)|((frame[index*3+1]&0xf0)>>4);
*(fbp +1) = (frame[index*3+2]&0xf0)|(frame[(index+1)*3]&0xf0>>4);
*(fbp+2) = (frame[(index+1)*3+1]&0xf0)|(frame[(index+1)*3+2]&0xf0>>4);
在这段代码中*(fbp)、*(fbp +1)、*(fbp+2)这三个8位实际上两个像素的图像数据。这就实现了24位的图像数据到12位的图像数据的转换。
4应用framebuffer进行图像的显示
为了将程序中图像数据显示在设备的液晶屏幕上,需要读出现实设备的地址并将其映射到系统内存空间上，然后再将图像数据写到映射后的地址空间上。[5]
首先需要计算出屏幕内存空间的字节数，计算公式为：
屏幕内存空间的字节数＝像素的个数╳每个像素占用的字节
其中像素的个数是行和列的乘积，而行和列的数值以及每个像素占用的字节数值可以通过函数ioctl（）取得或设置。下述代码为打开framebuffer，读取屏幕的可设置信息，并计算屏幕内存空间的字节数的过程。
struct fb_var_screeninfo vinfo;
int frabuf= open(/dev/0, o_rdwr);
ioctl(fbfd, fbioget_vscreeninfo, &vinfo);
long int screensize = vinfo.xres * vinfo.yres* vinfo.bits_per_pixel;
取得屏幕的大小后，将打开的设备frabuf得到的内存空间映射到系统中，如下所示，
char *fbp fbp = (char *)mmap(0, screensize, prot_read | prot_write, map_shared,fbfd, 0);
然后将前文得到的数据赋值即可。上面的函数的具体意义，读者可以参看相关技术文档，限于篇幅本文没有阐述。这个过程和前文所述的捕获过程是相反的过程。
5简单字符的屏幕显示技术
在数字图像处理过程中，为了将处理后结果或数字显示出来，可以在屏幕上开个区域进行显示。如若字体较多需要字库，如果仅仅是简单的数字可以采用像素描绘的方法。本文作者就是采用后者输出了数字。如数字“１”的描绘程序如下：
x=160;
for ( y = 210; y < 230; y++ ) {
location = (x+vinfo.xoffset) * (vinfo.bits_per_pixel/8) +y+vinfo.yoffset) * finfo.line_length;
*(fbp + location) = 10;
*(fbp + location + 1) =10;
*(fbp + location + 2) =10;
}
其中x、y为屏幕的位置，而fbp就是前文打开的设备。
6 结束语
本文采用的设备是基于samsung公司的arm9芯片s3c2410,由于篇幅的限制本文没有具体阐述整个系统，集中阐述了视频图像数据的捕获和显示，在这一过程中存在许多细节问题，限于篇幅没有阐述。
将离子导电率提1亿倍 燃料电池新材料探秘
iPhone6拆机图解
微软或将收购MEMS激光投影及传感领先厂商MicroVision
PCB设计中常见的那些误区
晶体管的检测经验的分享
嵌入式系统视频图像捕获研究
意法半导体(ST)发布的新一代蓝牙低功耗 (BLE)SOC
RFMD新推出集成了功放开关和滤波器的RF前端
Hex文件烧录到MCU中的技巧
智慧消防能否成为企业主攻方向？
在线spi锡膏检查机工作原理
Cadence宣布推出Cadence Safety Solution安全方案
LT3651-4.1 6.5V~32V 单电池 4A 充电器
魅族智能手表MIX：轻智能，有多智能？
EEPROM在充电桩电源模块的应用
科耀机电展开MES全方位研讨项目，实现工业智能化
智伴科技持续以AIED为战略新方向，硬件+内容+新零售三翼齐飞
荣耀Magic2的诸多个性化创新将会在很多企业的年货采购中脱颖而出
局部放电检测仪的使用注意事项
行业 | 韩日动力电池产业的发展差异
1 嵌入式系统简介
嵌入式系统（embedded system）是指以应用为中心、以计算机技术为基础、软件硬件可裁剪、适应应用系统对功能、可靠性、成本、体积、功耗严格要求的专用计算机系统。根据ieee（国际电气和电子工程师协会）的定义，嵌入式系统是“控制、监视或者辅助设备、机器和车间运行的装置”，这个定义主要是从应用的角度进行定义的。[1]嵌入式系统的操作系统和功能软件集成于计算机硬件系统之中，也就是软件与硬件的一体化。嵌入式系统目的性或针对性很强，一般要求较高的实时性、稳定性。
2嵌入式linux操作系统
嵌入式linux是linux操作系统的一个分支。主要是对通常的linux进行裁减。最关键的是要进行实时化处理。在实时性要求不是太高的环境下采用linux具有很多优势。使用嵌入式linux技术开发嵌入式设备的最大方便是使开发工作从硬件与汇编程序转移到应用软件上来。[2]嵌入式linux系统架构包括三层：应用程序、系统共享库和linux内核。现有各种开源的linux版本，包括支持没有内存管理单元的cpu的uclinux、实时性非常好的rtai、qlinux等。[3]本文所采用的开发的系统是进行图像的实时捕获。由于实时性要求不高，同时考虑到linux下使用v4l开发视频程序具有很大的优越性，所以采用嵌入式linux作为开发环境。芯片主要采用三星公司生产的arm2410, 开发板采用北京博创公司的板卡。
3 采用v4l进行数据采集
3.1 采用v4l进行图像数据采集
v4l是linux下提供的一套设备驱动程序文件api，用于开发视频（video）、音频（audio）等领域的应用程序。由于在linux下设备都作为一个文件进行处理。所以可以通过打开相应的设备文件来获取设备的信息。由于本文是进行视频程序的开发，所以仅讲述有关视频相关的部分。
视频设备文件一般情况下在/dev/videox。其中x可以为0~63之间的整数。一般情况下为/deev/video0。当在开发板上通过usb接口将摄像头接入后。在程序中对文件video0进行读的操作就是对摄像头的操作。
在使用v4l之前首先需要将头文件videodev.h引入，如。相应的api文档在/usr /src/linux-2.4/documentation/video4linux/api.html下。同时在为了同相关的设备进行通信，需要一些结构体、变量和函数，所以需要包含其他的相关文件。如、
、 、 、 、 、 等。摄像头、v4l、设备驱动程序、嵌入式linux操作系统的关系用图1表示如下。
图1
具体的图像数据的捕获过程为：打开设备文件、查询和确认设备性能、设置捕获的图像的宽和高、设置色深、建立内存映射（后文阐述）、读取图像数据、关闭设备。[4]
具体的这个过程由于篇幅关系本文将不做具体阐述，读者可以查阅本文的参考文献3。在上述的过程中主要考虑的问题是内存的映射问题。为了读取数据首先需要将显示设备的地址映射到系统地址上来，这需要调用函数mmap（）。该函数返回的地址就是存放图像数据的地址。每一帧图像都偏移固定的长度。而摄像头取得图像会包含若干帧。这样通过周而复始的进行就可以将图像数据捕获下来。具体过程和涉及到的函数如下所示:
打开设备文件: int device = open (/dev/v4l/video0, o_rdwr);
内存映射：char* memorymap = (char*)mmap (0, memorybuffer.size, prot_read | prot_write, map_shared, device, 0);
图像数据memorymap + memorybuffer.offsets[bufferindex]
图2
3.2图像格式的转换。
通过上文所述取得图像数据后，实际就是一块地址。这时就可以进行各种图像处理或图像识别。问题的关键是图像数据是如何放置的。一般情况下，在计算机中一个像素点是由r、g、b三种颜色表示的。当然还存在其它的模式如pal等。但大多数为rgb模式。即使是rgb模式也存在很多种情况，如每一个像素由8个bit组成，这时r、g、b三种颜色的位数分别3、3、2。如果每一个像素由12个bit组成，则r、g、b三种颜色的位数分别4、4、4。如果每一个像素由16个bit组成，则r、g、b三种颜色的位数存在两种情况分别5、5、5，最高位舍弃，另一种情况为5、6、5。最容易处理、同时也是最常见的是24个bit组成的，这时r、g、b三种颜色的位数分别8、8、8。
在各种图像处理的程序中往往需要在两种格式之间转换。由于在笔者所采用的设备中，采集到的图像为24位，而显示设备为12位，这就需要在两种格式之间转换。至于怎样将图像数据显示到屏幕上在后文中阐述，下面将主要阐述如何在24位和12位之间转换。整个过程如图3所示。
图3
首先需要明确计算机中处理的数据是8位为基本单位的。所以，一个像素12位的图象格式可以通过两个像素24位为基本单位进行描述。其次，应该明确的是在从 8位数据到4位数据的转换中取得8位数据中的高4位，frame[index*3]&0xf0)；然后再取得下一个8位的高4位；左移4位和前面的数据取并，frame[index*3]&0xf0)|((frame[index*3+1]&0xf0)>>4。实现的代码如下：
*(fbp) = (frame[index*3]&0xf0)|((frame[index*3+1]&0xf0)>>4);
*(fbp +1) = (frame[index*3+2]&0xf0)|(frame[(index+1)*3]&0xf0>>4);
*(fbp+2) = (frame[(index+1)*3+1]&0xf0)|(frame[(index+1)*3+2]&0xf0>>4);
在这段代码中*(fbp)、*(fbp +1)、*(fbp+2)这三个8位实际上两个像素的图像数据。这就实现了24位的图像数据到12位的图像数据的转换。
4应用framebuffer进行图像的显示
为了将程序中图像数据显示在设备的液晶屏幕上,需要读出现实设备的地址并将其映射到系统内存空间上，然后再将图像数据写到映射后的地址空间上。[5]
首先需要计算出屏幕内存空间的字节数，计算公式为：
屏幕内存空间的字节数＝像素的个数╳每个像素占用的字节
其中像素的个数是行和列的乘积，而行和列的数值以及每个像素占用的字节数值可以通过函数ioctl（）取得或设置。下述代码为打开framebuffer，读取屏幕的可设置信息，并计算屏幕内存空间的字节数的过程。
struct fb_var_screeninfo vinfo;
int frabuf= open(/dev/0, o_rdwr);
ioctl(fbfd, fbioget_vscreeninfo, &vinfo);
long int screensize = vinfo.xres * vinfo.yres* vinfo.bits_per_pixel;
取得屏幕的大小后，将打开的设备frabuf得到的内存空间映射到系统中，如下所示，
char *fbp fbp = (char *)mmap(0, screensize, prot_read | prot_write, map_shared,fbfd, 0);
然后将前文得到的数据赋值即可。上面的函数的具体意义，读者可以参看相关技术文档，限于篇幅本文没有阐述。这个过程和前文所述的捕获过程是相反的过程。
5简单字符的屏幕显示技术
在数字图像处理过程中，为了将处理后结果或数字显示出来，可以在屏幕上开个区域进行显示。如若字体较多需要字库，如果仅仅是简单的数字可以采用像素描绘的方法。本文作者就是采用后者输出了数字。如数字“１”的描绘程序如下：
x=160;
for ( y = 210; y < 230; y++ ) {
location = (x+vinfo.xoffset) * (vinfo.bits_per_pixel/8) +y+vinfo.yoffset) * finfo.line_length;
*(fbp + location) = 10;
*(fbp + location + 1) =10;
*(fbp + location + 2) =10;
}
其中x、y为屏幕的位置，而fbp就是前文打开的设备。
6 结束语
本文采用的设备是基于samsung公司的arm9芯片s3c2410,由于篇幅的限制本文没有具体阐述整个系统，集中阐述了视频图像数据的捕获和显示，在这一过程中存在许多细节问题，限于篇幅没有阐述。
将离子导电率提1亿倍 燃料电池新材料探秘
iPhone6拆机图解
微软或将收购MEMS激光投影及传感领先厂商MicroVision
PCB设计中常见的那些误区
晶体管的检测经验的分享
嵌入式系统视频图像捕获研究
意法半导体(ST)发布的新一代蓝牙低功耗 (BLE)SOC
RFMD新推出集成了功放开关和滤波器的RF前端
Hex文件烧录到MCU中的技巧
智慧消防能否成为企业主攻方向？
在线spi锡膏检查机工作原理
Cadence宣布推出Cadence Safety Solution安全方案
LT3651-4.1 6.5V~32V 单电池 4A 充电器
魅族智能手表MIX：轻智能，有多智能？
EEPROM在充电桩电源模块的应用
科耀机电展开MES全方位研讨项目，实现工业智能化
智伴科技持续以AIED为战略新方向，硬件+内容+新零售三翼齐飞
荣耀Magic2的诸多个性化创新将会在很多企业的年货采购中脱颖而出
局部放电检测仪的使用注意事项
行业 | 韩日动力电池产业的发展差异