基于视频解码芯片与CPLD的实时图像采集系统的设计
关键词：
cpld , 实时 , 视频 , 图像 , 芯片
图像采集是实时图像处理的重要步骤。目前,图像传感器件主要有ccd(charge coupled device)和cmos(complementary metal oxide scmiconductor)。ccd技术现在已经非常成熟,ccd摄像头仍然是高端应用的首选器件。它输出的模拟视频信号包括图像信号、行与场消隐信号、行与场同步信号等七种信号。传统的视频采集系统由a／d转换电路、控制逻辑电路、数据缓存电路、地址发生器、地址译码电路等构成,此类设计有电路复杂、芯片繁多、开发周期长、成本高等缺点。
本文采用视频解码芯片与复杂可编程逻辑器件cpld(complex programmable logic device)设计了一套实时图像采集系统,克服了以上缺点。其中视频解码芯片可以从视频信号中自动获取行、场同步信号,并完成a／d转换,而具有在系统编程(isp)功能的cpld可以通过软件实现逻辑重构,将逻辑控制、地址发生器等电路全部集成在一块芯片中。系统具有体积小、成本低、可靠性高、升级容易、开发周期短等优点。
1 视频解码芯片saa7114h的性能特点[1]
saa7114h是一个高集成度的电路,在视频采集领域有着广泛的应用。视频解码基于行锁定时钟解码原则,能够将palsecam和ntsc制式信号转变为与itu601标准兼容的标准视频信号。saa7114h能够接收tv的cvbs信号或vcr的s-video信号,同时通过它的扩展接口(x端口)还能够接收mepg码流或video phone码流的数字视频信号。经过saa7114h解码后的视频信号,还能够根据实际的应用,选择8位或16位宽度的数据输出格式。
saa7114h的主要任务就是捕捉和缩放视频图像,向显示控制器提供标准的yuv数字视频流输出格式。saa7114h的主要特点如下：
(1)对每路cvbs或y／c输入信号可以选用可编程的静态增益或自动增益控制。
(2)含有两个9位视频a／d变换器,在扩展接口中可以接收数字cvbs信号或y／c信号的输入。
(3)数字锁相环适用于各种标准和非标准视频信号源的同步处理和时钟的产生。
(4)水平和垂直同步信号的检测。
(5)在片产生符合itu601标准的行锁定时钟。
saa7114h还提供一个i2c接口,用于和主控芯片相连接,从而可以对其内部的寄存器进行读写操作,控制saa7114h的工作状态。
经过saa7114h解码后的视频信号,必须保持正确的时序对应关系,才能完整无误地恢复原来的视频图像。saa7114h输出的时序包括行场同步信号、行场消隐信号、行频场频、场识别信号等。以pal制信号为例,其行、场时序关系如图1所示。
其中,href信号为行消隐信号,vgate代表场消隐信号(可以通过对寄存器vsto[8：0]和vsta[8：0]的编程进行确定),href与v123信号结合能判断当前为奇场或是偶场,fid为场识别信号。以上各信号都能通过saa7114h的相关管脚进行输出(如rtso、rtsi、xrh和xrv管脚等)。
2 复杂可编程逻辑器件xc95216的性能特点[2]
xc95216是xilinx公司的一种复杂可编程逻辑器件,具有丰富的可编程i／o引脚、在系统可编程、使用方便灵活的特点。不但可实现常规的逻辑器件功能,还可实现复杂的时序逻辑功能。其主要功能特点如下：多达166个用户i／0引脚,所有引脚的脚对脚逻辑延迟为10ns,fcni可达111mhz,216个宏单元,具有4800个可用门。
3 实时图像采集系统组成及其工作原理
本文设计的实时图像采集系统是一个基于dsp的活动目标跟踪系统的图像采集部分。dsp对图像采集部分提供的数字图像信号进行相关的计算处理,识别目标,然后控制相关设备,达到跟踪目标的目的。系统要求实时性强、体积小。
设计中采用视频解码芯片saa7114h将ccd摄像头获得的模拟视频信号转换为数字信号。在此实时图像处理系统中,恒速的视频解码芯片saa7114h与变速的dsp图像处理之间需要加入缓冲电路。缓冲电路一般有3种结构：双口ram结构、fif0结构、乒乓缓存结构。前两种缓冲结构的存储容量相对较小,不是特别适合高速图像处理系统。乒乓缓存结构的特点决定了可以用相对较便宜的高速大容量sram、外围逻辑器件构成比双口ram以及高速fifo更适合视频处理系统所需要的缓冲存储器。采用cpld控制两块sram以乒乓方式工作,实现数据流在系统中的高速传输。
3.1 视频采集的工作流程
视频采集的硬件框图如图2所示。系统复位后,单片机(mcu)通过i2c总线对saa7114h初始化。单片机采用philips公司的p89c61x2bn,具有在系统编程功能,允许更改saa7114h初始化程序,并可烧写到单片机flash中,相当方便。初始化成功后,saa7114h开始工作,将输入的模拟视频信号转换成720×576的yuv422数字信号,然后输入cpld。cpld一方面进行格式转换,输出yuv4:1:1、cif。格式的数字信号,另一方面还作为地址发生器,与cif、格式数据一起输入到sram。cpld还产生sram的读写控制信号,使用两片sram,以乒乓方式工作,每片保存一场图像。图2中指向da[7:0]的实线箭头与指向db[7:o]的虚线箭头表示cpld的d[7：0]端口的数据轮流输送给da与db端口。在保存好一场图像后,cpld以中断方式通知dsp作相应处理。
3.2 乒乓缓存控制原理
“乒乓操作”是一个常常应用于数据流控制的处理技巧。典型的乒乓操作方法如图3所示。乒乓操作的处理流程如下：输入数据流通过“输入数据选择单元”(在本采集系统中,cpld内部逻辑结构完成此数据选择功能),等时地将数据流分配到数据缓冲区sram a和sram b中。在第一场的时间,将输入的数据流缓存到sram a。在第二场的时间,通过“输入数据选择单元”的切换,将输入的数据流缓存到sram b,与此同时,将sram a的数据(第一场图像数据),通过“输出数据选择单元”的选择,送到“数据流运算处理模块”(dsp)运算处理。在第三个缓冲周期,通过“输入数据选择单元”的再次切换,将输入的数据流缓存到sram a,与此同时,将sram b的数据(第二场图像数据)通过“输出数据选择单元”的切换,送到“数据流运算处理模块”运算处理。如此循环,周而复始。
乒乓操作的最大特点是通过“输入数据选择单元”和“输出数据选择单元”,按节拍、相互配合地切换,将经过缓冲的数据流不停顿地送到“数据流运算处理模块”,进行运算及处理。把乒乓操作模块当作一个整体,此模块两端的输入数据流与输出数据流均是连续不断的,没有任何停顿,因此非常适合进行流水线式处理,完成数据的无缝缓冲与处理。
3.3 cpld的设计
3.3.1 数据缓存
将数据保存到sram,需在采样的同时产生地址。每块sram的地址线都有两组,一组由cpld给出,一组由dsp给出。为了解决共用存储器时的资源冲突问题,需控制dsp和sram、cpld和sram之间的通断[3]。cpld通过提供总线隔离器的控制信号,在cpld对sram a操作时就将cpld到sram b的地址线、数据线、片选信号都置高阻,设置隔离器使dsp与sram b导通,而与sram a断开,此时dsp可以读取sram b,反之亦然。实际上,sram的数据线也有两组,其工作方式和地址线一样。为了给dsp以充裕的时间读取ram中的数据,还要控制将每场图像存人不同的ram,使两片sram以乒乓方式工作。设计中选用了issi公司的is61lv5128,容量为512kb。
3.3.2 接口
cpld的主要外围接口如下：(1)输入部分。图像数据lpd[7:0]、时钟lclk、场同步vref、行同步href、复位res。(2)输出部分。图像数据ip01[7：0]和ip02[7：o],片选信号eel、ce2,写使能wel、we2,地址addl[18：0]、add2[18：o],总线隔离器的开关信号f1、f2,dsp中断信号dspint(这里没有设置sram的0e信号,因为cpld只需要将数据写入sram,不需要从sram中读数据)。
3.3.3 vhdl实现
设计中采用vhdl对cpld进行逻辑实现。程序中“乒乓”控制部分代码如下：
本文设计了一套基于视频解码芯片saa7114h与cpld的实时图像采集系统,其硬件结构简单,系统稳定,完全满足基于dsp的活动目标跟踪系统的需要,具有很强的实用性,稍加改动即可用于其他场合,如监控系统等。
[/table]
鸿蒙OS初心是面向IoT，IoT系统碎片化才是鸿蒙需解决的关键问题
物联网开启“共创模式”，未来大有作为
3D打印风力发电涡轮问世：改变世界的新力量
华为凭借高品质万兆园区网络连续四年获Gartner Peer Insights™2023企业有线和无线LAN基础设施“客户之选”
Lighthouse安防AI摄像头发售
基于视频解码芯片与CPLD的实时图像采集系统的设计
构建一个音频反应台灯
Xilinx宣布收购 Solarflare
惊喜权益来了！华为P40系列用户专属礼包不容错过
世界物联网500强出炉，中国企业入选过半
电气火灾监控系统的作用，电气火灾安全不容忽视
喇叭保护器电路图
笔记本液晶屏幕简介
电池包翻转试验机怎么用
中国国集成电路产业投融资运行状况
如何解决图像降噪问题？
华为mate9怎么样？华为mate9手机发热好吗？华为mate9评测
苹果共同创始人史蒂夫·沃兹尼亚克谈在苹果公司拥有Siri之前和之后
平头哥发布RISC-V处理器玄铁910 芯片成本降低一半
是什么阻碍了物联网行业的发展？
图像采集是实时图像处理的重要步骤。目前,图像传感器件主要有ccd(charge coupled device)和cmos(complementary metal oxide scmiconductor)。ccd技术现在已经非常成熟,ccd摄像头仍然是高端应用的首选器件。它输出的模拟视频信号包括图像信号、行与场消隐信号、行与场同步信号等七种信号。传统的视频采集系统由a／d转换电路、控制逻辑电路、数据缓存电路、地址发生器、地址译码电路等构成,此类设计有电路复杂、芯片繁多、开发周期长、成本高等缺点。
本文采用视频解码芯片与复杂可编程逻辑器件cpld(complex programmable logic device)设计了一套实时图像采集系统,克服了以上缺点。其中视频解码芯片可以从视频信号中自动获取行、场同步信号,并完成a／d转换,而具有在系统编程(isp)功能的cpld可以通过软件实现逻辑重构,将逻辑控制、地址发生器等电路全部集成在一块芯片中。系统具有体积小、成本低、可靠性高、升级容易、开发周期短等优点。
1 视频解码芯片saa7114h的性能特点[1]
saa7114h是一个高集成度的电路,在视频采集领域有着广泛的应用。视频解码基于行锁定时钟解码原则,能够将palsecam和ntsc制式信号转变为与itu601标准兼容的标准视频信号。saa7114h能够接收tv的cvbs信号或vcr的s-video信号,同时通过它的扩展接口(x端口)还能够接收mepg码流或video phone码流的数字视频信号。经过saa7114h解码后的视频信号,还能够根据实际的应用,选择8位或16位宽度的数据输出格式。
saa7114h的主要任务就是捕捉和缩放视频图像,向显示控制器提供标准的yuv数字视频流输出格式。saa7114h的主要特点如下：
(1)对每路cvbs或y／c输入信号可以选用可编程的静态增益或自动增益控制。
(2)含有两个9位视频a／d变换器,在扩展接口中可以接收数字cvbs信号或y／c信号的输入。
(3)数字锁相环适用于各种标准和非标准视频信号源的同步处理和时钟的产生。
(4)水平和垂直同步信号的检测。
(5)在片产生符合itu601标准的行锁定时钟。
saa7114h还提供一个i2c接口,用于和主控芯片相连接,从而可以对其内部的寄存器进行读写操作,控制saa7114h的工作状态。
经过saa7114h解码后的视频信号,必须保持正确的时序对应关系,才能完整无误地恢复原来的视频图像。saa7114h输出的时序包括行场同步信号、行场消隐信号、行频场频、场识别信号等。以pal制信号为例,其行、场时序关系如图1所示。
其中,href信号为行消隐信号,vgate代表场消隐信号(可以通过对寄存器vsto[8：0]和vsta[8：0]的编程进行确定),href与v123信号结合能判断当前为奇场或是偶场,fid为场识别信号。以上各信号都能通过saa7114h的相关管脚进行输出(如rtso、rtsi、xrh和xrv管脚等)。
2 复杂可编程逻辑器件xc95216的性能特点[2]
xc95216是xilinx公司的一种复杂可编程逻辑器件,具有丰富的可编程i／o引脚、在系统可编程、使用方便灵活的特点。不但可实现常规的逻辑器件功能,还可实现复杂的时序逻辑功能。其主要功能特点如下：多达166个用户i／0引脚,所有引脚的脚对脚逻辑延迟为10ns,fcni可达111mhz,216个宏单元,具有4800个可用门。
3 实时图像采集系统组成及其工作原理
本文设计的实时图像采集系统是一个基于dsp的活动目标跟踪系统的图像采集部分。dsp对图像采集部分提供的数字图像信号进行相关的计算处理,识别目标,然后控制相关设备,达到跟踪目标的目的。系统要求实时性强、体积小。
设计中采用视频解码芯片saa7114h将ccd摄像头获得的模拟视频信号转换为数字信号。在此实时图像处理系统中,恒速的视频解码芯片saa7114h与变速的dsp图像处理之间需要加入缓冲电路。缓冲电路一般有3种结构：双口ram结构、fif0结构、乒乓缓存结构。前两种缓冲结构的存储容量相对较小,不是特别适合高速图像处理系统。乒乓缓存结构的特点决定了可以用相对较便宜的高速大容量sram、外围逻辑器件构成比双口ram以及高速fifo更适合视频处理系统所需要的缓冲存储器。采用cpld控制两块sram以乒乓方式工作,实现数据流在系统中的高速传输。
3.1 视频采集的工作流程
视频采集的硬件框图如图2所示。系统复位后,单片机(mcu)通过i2c总线对saa7114h初始化。单片机采用philips公司的p89c61x2bn,具有在系统编程功能,允许更改saa7114h初始化程序,并可烧写到单片机flash中,相当方便。初始化成功后,saa7114h开始工作,将输入的模拟视频信号转换成720×576的yuv422数字信号,然后输入cpld。cpld一方面进行格式转换,输出yuv4:1:1、cif。格式的数字信号,另一方面还作为地址发生器,与cif、格式数据一起输入到sram。cpld还产生sram的读写控制信号,使用两片sram,以乒乓方式工作,每片保存一场图像。图2中指向da[7:0]的实线箭头与指向db[7:o]的虚线箭头表示cpld的d[7：0]端口的数据轮流输送给da与db端口。在保存好一场图像后,cpld以中断方式通知dsp作相应处理。
3.2 乒乓缓存控制原理
“乒乓操作”是一个常常应用于数据流控制的处理技巧。典型的乒乓操作方法如图3所示。乒乓操作的处理流程如下：输入数据流通过“输入数据选择单元”(在本采集系统中,cpld内部逻辑结构完成此数据选择功能),等时地将数据流分配到数据缓冲区sram a和sram b中。在第一场的时间,将输入的数据流缓存到sram a。在第二场的时间,通过“输入数据选择单元”的切换,将输入的数据流缓存到sram b,与此同时,将sram a的数据(第一场图像数据),通过“输出数据选择单元”的选择,送到“数据流运算处理模块”(dsp)运算处理。在第三个缓冲周期,通过“输入数据选择单元”的再次切换,将输入的数据流缓存到sram a,与此同时,将sram b的数据(第二场图像数据)通过“输出数据选择单元”的切换,送到“数据流运算处理模块”运算处理。如此循环,周而复始。
乒乓操作的最大特点是通过“输入数据选择单元”和“输出数据选择单元”,按节拍、相互配合地切换,将经过缓冲的数据流不停顿地送到“数据流运算处理模块”,进行运算及处理。把乒乓操作模块当作一个整体,此模块两端的输入数据流与输出数据流均是连续不断的,没有任何停顿,因此非常适合进行流水线式处理,完成数据的无缝缓冲与处理。
3.3 cpld的设计
3.3.1 数据缓存
将数据保存到sram,需在采样的同时产生地址。每块sram的地址线都有两组,一组由cpld给出,一组由dsp给出。为了解决共用存储器时的资源冲突问题,需控制dsp和sram、cpld和sram之间的通断[3]。cpld通过提供总线隔离器的控制信号,在cpld对sram a操作时就将cpld到sram b的地址线、数据线、片选信号都置高阻,设置隔离器使dsp与sram b导通,而与sram a断开,此时dsp可以读取sram b,反之亦然。实际上,sram的数据线也有两组,其工作方式和地址线一样。为了给dsp以充裕的时间读取ram中的数据,还要控制将每场图像存人不同的ram,使两片sram以乒乓方式工作。设计中选用了issi公司的is61lv5128,容量为512kb。
3.3.2 接口
cpld的主要外围接口如下：(1)输入部分。图像数据lpd[7:0]、时钟lclk、场同步vref、行同步href、复位res。(2)输出部分。图像数据ip01[7：0]和ip02[7：o],片选信号eel、ce2,写使能wel、we2,地址addl[18：0]、add2[18：o],总线隔离器的开关信号f1、f2,dsp中断信号dspint(这里没有设置sram的0e信号,因为cpld只需要将数据写入sram,不需要从sram中读数据)。
3.3.3 vhdl实现
设计中采用vhdl对cpld进行逻辑实现。程序中“乒乓”控制部分代码如下：
本文设计了一套基于视频解码芯片saa7114h与cpld的实时图像采集系统,其硬件结构简单,系统稳定,完全满足基于dsp的活动目标跟踪系统的需要,具有很强的实用性,稍加改动即可用于其他场合,如监控系统等。
[/table]
鸿蒙OS初心是面向IoT，IoT系统碎片化才是鸿蒙需解决的关键问题
物联网开启“共创模式”，未来大有作为
3D打印风力发电涡轮问世：改变世界的新力量
华为凭借高品质万兆园区网络连续四年获Gartner Peer Insights™2023企业有线和无线LAN基础设施“客户之选”
Lighthouse安防AI摄像头发售
基于视频解码芯片与CPLD的实时图像采集系统的设计
构建一个音频反应台灯
Xilinx宣布收购 Solarflare
惊喜权益来了！华为P40系列用户专属礼包不容错过
世界物联网500强出炉，中国企业入选过半
电气火灾监控系统的作用，电气火灾安全不容忽视
喇叭保护器电路图
笔记本液晶屏幕简介
电池包翻转试验机怎么用
中国国集成电路产业投融资运行状况
如何解决图像降噪问题？
华为mate9怎么样？华为mate9手机发热好吗？华为mate9评测
苹果共同创始人史蒂夫·沃兹尼亚克谈在苹果公司拥有Siri之前和之后
平头哥发布RISC-V处理器玄铁910 芯片成本降低一半
是什么阻碍了物联网行业的发展？