详解百度大脑EdgeBoard出色的视频处理技术
背景介绍
视频处理是人工智能应用中的一个重要方向,对于一款端上部署的ai加速产品,其视频接入能力是产品技术实力的重要体现,同时也直接影响用户的产品体验。端上的嵌入式设备,受制于本身的cpu等硬件资源,同时支持多种视频设备及多种视频格式是极大的挑战。
edgeboard是百度基于fpga打造的嵌入式ai解决方案,能够提供强大的算力,并支持定制化模型,适配各种不同的场景,并大幅提高设备的ai推理能力,具有高性能、高通用、易集成等特点。edgeboard作为一款面向各个层次的ai开发者的硬件平台,兼顾了多种视频输入,包括mipi、bt1120、usb摄像头、ipc(ipcamera,网络摄像头)、gige工业摄像头,这极大地体现出edgeboard在视频处理上出色的技术实力,而同时支持如此多的视频接入设备在一般的ai端产品上也是不常见的。
本文将详细介绍edgeboard上的视频处理方案,如何兼顾效率和通用性,在二者之间取得平衡,最大程度上满足用户的需求。
linuxv4l2结构
内核v4l2模块
linux系统发展至今,以其优越的跨平台特性和扩展移植性在嵌入式操作系统领域占据很大的份额,edgeboard采用的是xilinxpetalinux工具打造的linux内核,操作系统采用的是rootfs,如果用户需要ubuntu操作系统,可以直接在xilinx论坛上获得arm64 ubuntu操作系统。
video4linux2(简称v4l2)是linux下关于视频采集相关设备的驱动框架,为驱动和应用程序提供了一套统一的接口规范。支持三类设备,分别会在/dev目录下产生不同的设备节点:
1.视频输入输出设备(video capture device,video output device),分别是提供视频捕获功能的摄像头类型设备和提供视频输出功能的设备,对应的设备名为videox。这是我们最常用的一种设备类型。
2.vbi设备(vertical blanking interval),对vbi数据进行控制、发送或抓取的设备,对应设备名vbix。
3.radio设备,提供fm/am发送和接收的设备,对应设备名radiox
v4l2在linux系统中的结构图如下:
从图中可以看出,驱动的框架层次分明,最上层通过字符设备提供video和media两种控制接口,分别从视频流控制(video)和媒体子设备控制(media)两种不同的角度抽象出操作接口。中间内核驱动层通过三层设备驱动分别从视频抽象,v4l2设备功能定义,子设备功能定义三个层面展开,模块化的设计提供了非常完善的扩展性。最下方是硬件层,除了提供常用摄像头传感器的功能外,对于常用的视频转换也有很好的支持。
在应用层的软件支持也非常丰富,比如广泛使用的ffmpeg、gstreamer、lives、mplayer等对本地视频设备的支持也都是通过v4l2提供的接口实现的。
xilinxv4l2驱动结构
深入理解v4l2框架对于fpga视频方案的灵活配置有很大的帮助作用,也方便fpga开发人员快速验证视频功能。本节以xilinx视频处理子系统为例,介绍一套完整的v4l2内核功能的实现,如下图。
结合上一节提到的v4l2结构图可以看出v4 l2内核对应了全部视频框架的内容。中间部分,xilinx通过xvip_dma结构实现了整体的video_device功能,给用户层提供必要的控制设备接口(右侧用户层接口);左侧部分,是内核将所有的xilinx视频相关设备组合成xvip_composite_device,即v4l2_device,通过该模块可以扩展具体的子设备功能,即v4l2_subdev,包括tpg、vtc、rgb2yuv、scaler等等;右侧部分,是用户层的接口,用户层调用接口实现对视频设备的操作;顶层部分,为了提高数据搬运的效率使用了dma设备功能,即xilinx_dma_device。下层部分,对于内部数据的管理,使用了v4l2统一抽象提供的vb2_queue、vb2_buffer等模块实现。
v4l2结构应用实例解析
这里以在edgeboard上使用的mipi摄像头(mipi开发介绍见https://www.csdn.net/article/a/2019-08-21/15979781)为例介绍v4l2的具体应用。
mipi摄像头视频通路
对mipi摄像头的支持采用了xilinxvideo框架,符合标准的驱动以及和硬件结合的流程。具体的实现为:硬件上采用fpga的ip实现视频通路上的各种视频预处理,内核驱动模块使用vipp对应的功能,应用层通过/dev/media节点将这些子设备之间的连接关系进行关联,通过/dev/video控制视频的传输及视频抓取。
v4l2子设备驱动(摄像头驱动)的编写方法
从上文可以看出,虽然利用已有的ip和驱动资源,可以快速搭建mipi摄像头的数据接入功能,但还缺少对于摄像头本身的参数控制功能等,这部分功能的实现是在驱动模块完成。本节将介绍一下此类驱动的结构和开发流程。
相对于实现一个完整的v4l2驱动功能比较庞大,针对摄像头驱动的实现相对简单了许多,只需要实现v4l2的子设备驱动即可,因为大部分功能已经在video_device里实现了。详细的子设备驱动结构图如下
结合前文的整体结构图,这里的核心是实现一个v4l2_subdev结构,即填充其内部各操作接口结构体,其中核心是v4l2_subdev_ops,通过该接口实现从用户层对其配置各种参数,以对视频流的控制。media_entity目地是实现各个v4l2_subdev之间的连接通路。用户层对mediax设备的操作都需要这个结构的支持。
基于v4l2的软件开发
应用层的软件开发,推荐使用gstreamer或者opencvvideocapture,opencv的底层实现可能依赖gstreamer,如果这些不能满足读者的要求,需要更详细的参数控制,或者软件环境不具备这两种支持,可以考虑直接操作v4l2设备。如下将介绍v4l2 软件层面的具体方法。
v4l2通常支持三种不同io访问方式(其他内核里支持的方式暂不讨论),包括
1.read/write基本io访问方式,read方式读取一帧数据,数据需要从内核空间传输到用户空间,增加了内存访问的开销,对于图像类的应用效率不高
2.内存映射方式,这是在内核空间开辟的缓冲区,这些缓冲区可能支持dma功能,这样极大的提高了数据从设备搬运到内存的效率。用户只需要使用mmap()系统调用将其映射到用户空间后,可以直接使用。这种方式支持的设备很多。
3.用户空间缓冲区方式,这是在用户空间开辟的缓冲区,再把缓冲区的指针告诉内核,这种方式虽然也能减少内存拷贝,但是内核驱动或者硬件设备在处理这些用户空间的地址会麻烦很多,不是所有的设备都会支持
这里以第二种方式详细说明具体使用过程,参考如下流程图
包括这几个步骤:
1、使用open()打开设备
2、使用ioctl()进行初始化参数设置,一般包括查询设备能力(vidioc_querycap),设置视频捕获相关参数,如帧率控制(vidioc_s_parm)、图像的窗口尺寸(vidioc_s_crop)、像素点的格式和宽高(vidioc_s_fmt)等,详细支持的参数可以使用上面介绍的工具进行查询
3、使用ioctl()申请帧缓冲(vidioc_reqbufs),并查询申请到的缓冲区的信息(vidioc_querybuf)
4、使用mmap()对申请到的缓冲区进行内存映射,保存映射得到的地址
5、使用ioctl()把帧缓冲进行入队操作(vidioc_qbuf)
6、使用ioctl()开始视频流进行捕获(vidioc_streamon)
7、使用selet()等待接收到数据
8、使用ioctl()取出帧缓冲即出队操作(vidioc_dqbuf)
9、进行数据处理,
10、重复帧缓冲入队操作,如此循环
11、退出时,停止采集工作(vidioc_streamoff),使用unmap()和close()释放资源
用户层工具介绍(技术小福利)
上文介绍完edgeboard中视频处理的完整方案,现介绍v4l2开发中常用的调试工具,有助于提升开发效率。
得益于linux丰富的开源资源,操作v4l2设备的应用层工具也非常多。默认的edgeboardpetalinux系统已经配置好常用的几个工具,特此介绍给大家。v4l-utils是专门控制v4l设备的一系列命令工具集,包含以下实用程序:
1. v4l2-ctl:用来全方位的配置v4l2设备,对于内核模块暴露出来的接口,几乎都有支持。特别是软件开发时候使用的ioctl控制命令,也可以使用该工具来直接设置,帮助我们调试驱动或软件。
2. v4l2-compliance:兼容性工具,用于测试v4l设备驱动程序的v4l2 api兼容性,会打印出来各个ioctal命令接口是否有支持。多用在v4l应用软件开发过程中。
3.v4l2-dbg:直接获取和设置v4l2设备寄存器的工具,这依赖于设备驱动的支持。可以使用v4l2-compliance查看vidioc_dbg_g/s_register命令接口是否可用,在可用的情况下,可以使用该工具来测试。
4.v4l2-sysfs-path:检查平台已经加载的v4l2设备以及相应的设备节点。
5. media-ctl:媒体设备的控制工具,帮助我们在v4l2各个子设备间建立连接。
gstreamer是linux平台广泛应用的视频流工具,特别是嵌入式平台,良好的软件架构及衍生出其丰富的扩展插件对不同硬件平台都具有良好的支持。
这里给出一个命令行示例,就可以了解它的独特之处了,如下:
gst-launch-1.0v4l2src device=/dev/video4 ! video/x-raw,width=1280,height=720 ! videorate ! image/jpeg,framerate=1/4 ! multifilesink location=frame%d.jpg index=100
这条命令的意思是打开v4l2视频源即/dev/video4这个usb视频设备,抓取其1280x720宽度的原始jpeg图片流按照4秒1帧的速度保存到本地文件,命名格式为frame100.jpg开始
总结
本文以mipi摄像头为例介绍了在edgeboard中采用v4l2结构的视频处理方案,得益于v4l2结构的灵活性和可扩展性,像bt1120、usb摄像头等也采用类似的方案,实现了对多视频接入方案的支持。对于需要视频接入方案的用户,可以直接购买egdeboard产品,实现视频接入的即插即用lw
博通公司通过嵌入式设备互联网无线连接产品加速可穿戴设备市场业务
一加7系列将首批适配Android Q Beta版本
苹果开发新屏幕技术迫在眉睫，Micro LED在逐步推进中
基于TDA7313DA和KID4558DI2芯片实现的总线控制多路音源电路
如何基于时间片论法的任务调度模式充分利用MCU的资源
详解百度大脑EdgeBoard出色的视频处理技术
中兴Axon9Pro评测 完全符合轻商务旗舰的产品定位
2023年第三季度中国可穿戴设备市场回暖：苹果仍领跑全球市场
小米华为还在争安卓7.1首发 却被这家厂商抢了风头！
三星GalaxyS10+上手体验 第一代实现了彻底地体验超越
海尔生物业绩持续改善 成功“圆梦”科创板
2018年12月破产清算后首次发布新品，预示着金立即将“复活”？
UPS电源的运作框图
Qt开发实现SCARA机械手正反解的建立
人工智能产业标准化制定要来了
日本未来十年高达10GW的太阳能将为农业供电
2019Q2印度智能手机份额：小米依然领跑，三星位列第二
OPPO公布全新子品牌Reno宣传海报 Logo将换新
如何解决袋式除尘器腐蚀问题
关于央美与优必选携手打造人工智能设计实验室的分析和介绍
视频处理是人工智能应用中的一个重要方向,对于一款端上部署的ai加速产品,其视频接入能力是产品技术实力的重要体现,同时也直接影响用户的产品体验。端上的嵌入式设备,受制于本身的cpu等硬件资源,同时支持多种视频设备及多种视频格式是极大的挑战。
edgeboard是百度基于fpga打造的嵌入式ai解决方案,能够提供强大的算力,并支持定制化模型,适配各种不同的场景,并大幅提高设备的ai推理能力,具有高性能、高通用、易集成等特点。edgeboard作为一款面向各个层次的ai开发者的硬件平台,兼顾了多种视频输入,包括mipi、bt1120、usb摄像头、ipc(ipcamera,网络摄像头)、gige工业摄像头,这极大地体现出edgeboard在视频处理上出色的技术实力,而同时支持如此多的视频接入设备在一般的ai端产品上也是不常见的。
本文将详细介绍edgeboard上的视频处理方案,如何兼顾效率和通用性,在二者之间取得平衡,最大程度上满足用户的需求。
linuxv4l2结构
内核v4l2模块
linux系统发展至今,以其优越的跨平台特性和扩展移植性在嵌入式操作系统领域占据很大的份额,edgeboard采用的是xilinxpetalinux工具打造的linux内核,操作系统采用的是rootfs,如果用户需要ubuntu操作系统,可以直接在xilinx论坛上获得arm64 ubuntu操作系统。
video4linux2(简称v4l2)是linux下关于视频采集相关设备的驱动框架,为驱动和应用程序提供了一套统一的接口规范。支持三类设备,分别会在/dev目录下产生不同的设备节点:
1.视频输入输出设备(video capture device,video output device),分别是提供视频捕获功能的摄像头类型设备和提供视频输出功能的设备,对应的设备名为videox。这是我们最常用的一种设备类型。
2.vbi设备(vertical blanking interval),对vbi数据进行控制、发送或抓取的设备,对应设备名vbix。
3.radio设备,提供fm/am发送和接收的设备,对应设备名radiox
v4l2在linux系统中的结构图如下:
从图中可以看出,驱动的框架层次分明,最上层通过字符设备提供video和media两种控制接口,分别从视频流控制(video)和媒体子设备控制(media)两种不同的角度抽象出操作接口。中间内核驱动层通过三层设备驱动分别从视频抽象,v4l2设备功能定义,子设备功能定义三个层面展开,模块化的设计提供了非常完善的扩展性。最下方是硬件层,除了提供常用摄像头传感器的功能外,对于常用的视频转换也有很好的支持。
在应用层的软件支持也非常丰富,比如广泛使用的ffmpeg、gstreamer、lives、mplayer等对本地视频设备的支持也都是通过v4l2提供的接口实现的。
xilinxv4l2驱动结构
深入理解v4l2框架对于fpga视频方案的灵活配置有很大的帮助作用,也方便fpga开发人员快速验证视频功能。本节以xilinx视频处理子系统为例,介绍一套完整的v4l2内核功能的实现,如下图。
结合上一节提到的v4l2结构图可以看出v4 l2内核对应了全部视频框架的内容。中间部分,xilinx通过xvip_dma结构实现了整体的video_device功能,给用户层提供必要的控制设备接口(右侧用户层接口);左侧部分,是内核将所有的xilinx视频相关设备组合成xvip_composite_device,即v4l2_device,通过该模块可以扩展具体的子设备功能,即v4l2_subdev,包括tpg、vtc、rgb2yuv、scaler等等;右侧部分,是用户层的接口,用户层调用接口实现对视频设备的操作;顶层部分,为了提高数据搬运的效率使用了dma设备功能,即xilinx_dma_device。下层部分,对于内部数据的管理,使用了v4l2统一抽象提供的vb2_queue、vb2_buffer等模块实现。
v4l2结构应用实例解析
这里以在edgeboard上使用的mipi摄像头(mipi开发介绍见https://www.csdn.net/article/a/2019-08-21/15979781)为例介绍v4l2的具体应用。
mipi摄像头视频通路
对mipi摄像头的支持采用了xilinxvideo框架,符合标准的驱动以及和硬件结合的流程。具体的实现为:硬件上采用fpga的ip实现视频通路上的各种视频预处理,内核驱动模块使用vipp对应的功能,应用层通过/dev/media节点将这些子设备之间的连接关系进行关联,通过/dev/video控制视频的传输及视频抓取。
v4l2子设备驱动(摄像头驱动)的编写方法
从上文可以看出,虽然利用已有的ip和驱动资源,可以快速搭建mipi摄像头的数据接入功能,但还缺少对于摄像头本身的参数控制功能等,这部分功能的实现是在驱动模块完成。本节将介绍一下此类驱动的结构和开发流程。
相对于实现一个完整的v4l2驱动功能比较庞大,针对摄像头驱动的实现相对简单了许多,只需要实现v4l2的子设备驱动即可,因为大部分功能已经在video_device里实现了。详细的子设备驱动结构图如下
结合前文的整体结构图,这里的核心是实现一个v4l2_subdev结构,即填充其内部各操作接口结构体,其中核心是v4l2_subdev_ops,通过该接口实现从用户层对其配置各种参数,以对视频流的控制。media_entity目地是实现各个v4l2_subdev之间的连接通路。用户层对mediax设备的操作都需要这个结构的支持。
基于v4l2的软件开发
应用层的软件开发,推荐使用gstreamer或者opencvvideocapture,opencv的底层实现可能依赖gstreamer,如果这些不能满足读者的要求,需要更详细的参数控制,或者软件环境不具备这两种支持,可以考虑直接操作v4l2设备。如下将介绍v4l2 软件层面的具体方法。
v4l2通常支持三种不同io访问方式(其他内核里支持的方式暂不讨论),包括
1.read/write基本io访问方式,read方式读取一帧数据,数据需要从内核空间传输到用户空间,增加了内存访问的开销,对于图像类的应用效率不高
2.内存映射方式,这是在内核空间开辟的缓冲区,这些缓冲区可能支持dma功能,这样极大的提高了数据从设备搬运到内存的效率。用户只需要使用mmap()系统调用将其映射到用户空间后,可以直接使用。这种方式支持的设备很多。
3.用户空间缓冲区方式,这是在用户空间开辟的缓冲区,再把缓冲区的指针告诉内核,这种方式虽然也能减少内存拷贝,但是内核驱动或者硬件设备在处理这些用户空间的地址会麻烦很多,不是所有的设备都会支持
这里以第二种方式详细说明具体使用过程,参考如下流程图
包括这几个步骤:
1、使用open()打开设备
2、使用ioctl()进行初始化参数设置,一般包括查询设备能力(vidioc_querycap),设置视频捕获相关参数,如帧率控制(vidioc_s_parm)、图像的窗口尺寸(vidioc_s_crop)、像素点的格式和宽高(vidioc_s_fmt)等,详细支持的参数可以使用上面介绍的工具进行查询
3、使用ioctl()申请帧缓冲(vidioc_reqbufs),并查询申请到的缓冲区的信息(vidioc_querybuf)
4、使用mmap()对申请到的缓冲区进行内存映射,保存映射得到的地址
5、使用ioctl()把帧缓冲进行入队操作(vidioc_qbuf)
6、使用ioctl()开始视频流进行捕获(vidioc_streamon)
7、使用selet()等待接收到数据
8、使用ioctl()取出帧缓冲即出队操作(vidioc_dqbuf)
9、进行数据处理,
10、重复帧缓冲入队操作,如此循环
11、退出时,停止采集工作(vidioc_streamoff),使用unmap()和close()释放资源
用户层工具介绍(技术小福利)
上文介绍完edgeboard中视频处理的完整方案,现介绍v4l2开发中常用的调试工具,有助于提升开发效率。
得益于linux丰富的开源资源,操作v4l2设备的应用层工具也非常多。默认的edgeboardpetalinux系统已经配置好常用的几个工具,特此介绍给大家。v4l-utils是专门控制v4l设备的一系列命令工具集,包含以下实用程序:
1. v4l2-ctl:用来全方位的配置v4l2设备,对于内核模块暴露出来的接口,几乎都有支持。特别是软件开发时候使用的ioctl控制命令,也可以使用该工具来直接设置,帮助我们调试驱动或软件。
2. v4l2-compliance:兼容性工具,用于测试v4l设备驱动程序的v4l2 api兼容性,会打印出来各个ioctal命令接口是否有支持。多用在v4l应用软件开发过程中。
3.v4l2-dbg:直接获取和设置v4l2设备寄存器的工具,这依赖于设备驱动的支持。可以使用v4l2-compliance查看vidioc_dbg_g/s_register命令接口是否可用,在可用的情况下,可以使用该工具来测试。
4.v4l2-sysfs-path:检查平台已经加载的v4l2设备以及相应的设备节点。
5. media-ctl:媒体设备的控制工具,帮助我们在v4l2各个子设备间建立连接。
gstreamer是linux平台广泛应用的视频流工具,特别是嵌入式平台,良好的软件架构及衍生出其丰富的扩展插件对不同硬件平台都具有良好的支持。
这里给出一个命令行示例,就可以了解它的独特之处了,如下:
gst-launch-1.0v4l2src device=/dev/video4 ! video/x-raw,width=1280,height=720 ! videorate ! image/jpeg,framerate=1/4 ! multifilesink location=frame%d.jpg index=100
这条命令的意思是打开v4l2视频源即/dev/video4这个usb视频设备,抓取其1280x720宽度的原始jpeg图片流按照4秒1帧的速度保存到本地文件,命名格式为frame100.jpg开始
总结
本文以mipi摄像头为例介绍了在edgeboard中采用v4l2结构的视频处理方案,得益于v4l2结构的灵活性和可扩展性,像bt1120、usb摄像头等也采用类似的方案,实现了对多视频接入方案的支持。对于需要视频接入方案的用户,可以直接购买egdeboard产品,实现视频接入的即插即用lw
博通公司通过嵌入式设备互联网无线连接产品加速可穿戴设备市场业务
一加7系列将首批适配Android Q Beta版本
苹果开发新屏幕技术迫在眉睫，Micro LED在逐步推进中
基于TDA7313DA和KID4558DI2芯片实现的总线控制多路音源电路
如何基于时间片论法的任务调度模式充分利用MCU的资源
详解百度大脑EdgeBoard出色的视频处理技术
中兴Axon9Pro评测 完全符合轻商务旗舰的产品定位
2023年第三季度中国可穿戴设备市场回暖：苹果仍领跑全球市场
小米华为还在争安卓7.1首发 却被这家厂商抢了风头！
三星GalaxyS10+上手体验 第一代实现了彻底地体验超越
海尔生物业绩持续改善 成功“圆梦”科创板
2018年12月破产清算后首次发布新品，预示着金立即将“复活”？
UPS电源的运作框图
Qt开发实现SCARA机械手正反解的建立
人工智能产业标准化制定要来了
日本未来十年高达10GW的太阳能将为农业供电
2019Q2印度智能手机份额：小米依然领跑，三星位列第二
OPPO公布全新子品牌Reno宣传海报 Logo将换新
如何解决袋式除尘器腐蚀问题
关于央美与优必选携手打造人工智能设计实验室的分析和介绍