基于FPGA的视频采集需要实施显示和视频数据存储的问题
摘要：本文主要从视频图像采集系统出发，针对基于fpga视频采集系统中需要实时显示和高效存储视频数据的问题，设计了视频解码和sdram存储模块。在整个系统中使用ccd摄像头将采集到的模拟信号经解码芯片adv7181b解码后，转换为数字信号，并使用乒乓存储方法存储在sdram中，以方便提供给后期其他操作。在分析了视频解码及sdram的基本原理和主要参数的基础上，利用verilog语言实现了将有效视频数据分离出来并串行输出，同时也将图像分辨率调整为符合vga显示的像素大小。另一方面通过乒乓缓存也保证了实时性、高速度的数据存储。最后，经过modelsim仿真验证，证明了本设计的有效性。
0 引言 图1视频采集系统框图视频图像采集系统应用非常广泛，随着计算机通信技术的不断发展，fpga以其高性能、低开发成本等优点广泛应用于视频和图像处理领域［1］，因此,更加深入地研究基于fpga的实时图像采集系统, 对于视频监控系统、高性能的图像处理等都具有极其重要的作用。本文主要研究的内容是基于fpga的视频采集及显示系统中的视频解码和视频数据存储的问题，对于提取有效视频数据流和高效实时存储大量数据具有显著性的意义。
1 视频图像数据采集系统的总体架构
图1为视频图像采集的系统框图，主要由i2c配置模块、itu-656视频解码模块、sdram控制器模块、视频格式转化模块和vga控制器模块组成［2］。为了使视频数据能实时、高速的显示，视频解码模块和sdram控制模块就显得尤为重要。
2 itu-656解码 itu-656是国际电信联盟制成的视频标准，是国际电信联盟建议为实现在专业视频设备之间传输bt.601标准、4∶2∶2的ycrcb数字视频信号而定义的一个并行接口和一个串行接口。其中，并行接口在传输4∶2∶2的ycrcb视频数据流的同时，也会输出水平同步信号hs及垂直同步信号vs控制。
本文中itu-656标准的视频数据以27 mb/s的速率按cb，y, cr，y, cb，y, cr，…的顺序分时传送［3］。其中，cb，y，cr是同一个地址的亮度和色差信号，y对应于下一个亮度采样信号。 y采样频率为13.5 mhz，cb采样频率是6.75 mhz，使用8位pcm编码表示每个采样点。itu-656 标准的数据传输格式如图2所示，每行采样1 728个样本点，其中y为720个，cb，cr各360个。消隐期间的数据为288个(包括eav和sav)。
行控制信号有两个定时基准信号：sav和eav。 eav和sav之间有280个固定填充数据。 sav和eav具有相同的前同步码：ff，00,00，而后面的xy决定着该行在整个数据帧的位置，并且sav和eav信号可以通过xy的值来区别，同时xy也包含有奇偶场识别、状态和信息、场消隐行消隐状态。
f:f=0奇场，f=1偶场；v：v=1消隐数据，v=0有效行数据；h:h=0表示sav，h=1表示eav；p3，p2，p1，p0：保护比特位，其值由f、v、h 决定。
itu-656数字解码模块［4］的功能是根据itu-656视频数据流的特点将有效视频数据ycbcr和f、v、h 控制信号分离开来，并通过计算像素行列的坐标，确定图像中像素的具体位置，根据itu-656数据传输时序，通过行内计数方式去除行消隐数据，并分离出sav、eav 信号，留下只包括ycbcr信号的数据流，并将其串行输出。itu-656数字解码模块另一个功能是通过计算水平数据的像素坐标，将图像分辨率由720×576调整为640×480，以便在vga中显示。
根据sav 和eav 都是以ff、00、00 的顺序开始的特点，设置一个序列移位器，采用4级寄存器级联的形式，每个寄存器缓存8 bit数据，并监测后面3个寄存器的值，当这三个寄存器缓存的数据不是ff、00、00时，序列移位器向右移，当检测到这3个寄存器的值为ff、00、00、时，即认为是sav或eav的到来，就将第一个寄存器的 bit6、bit5、bit4分别存放到3个一位寄存器中，从而提取出 f、v、h 信号。h(bit4)如果为0，即表示有效数据开始。再通过 v、f是否为0可判断出是有效行数据还是消隐数据，是奇场还是偶场的数据。解码过程如图3所示。
调整图像分辨率，定义一个active_vedio信号，如果active_vedio在0~1 440之间，则为有效视频数据。首先720行数据调整为640行数据，把sav和eav信号提取出来后，此处设计一个fval信号，如果fval为1，则得到一行720个有效像素值，因此要在这720个有效像素中裁剪掉80个像素。本设计使用verilog语言，水平方向的像素提取用一个除法器iskip来实现，定义一个水平计数器oty_x，即除法器iskip=otv_x%9,若iskip为0，则该像素点被丢弃，否则保留。在丢弃像素点时遵循两个原则［5］：（1）像素数据为只包含亮度信息的像素点，则将此像素点的亮度值y丢弃，并且将上一个像素点的色度分量cr同时丢弃；（2）像素数据为一个完整的像素点，包含了y、cb、cr分量值：将分量y和cb丢弃，保留cr；其次576行数据调整为480行数据，根据pal制式视频信号的特点,分别取偶数场24~264行240个数据，奇数场312~552行240个数据，组成480行vga数据，其他数据丢弃，由于丢弃的仅是一副图像的最边缘部分，所以对整幅图像影响不大。
提取有效视频数据，pal制式的视频信号的场消隐一共是49行，其中偶数场和奇数场的消隐期分别为24行和25行。通过设计一个4位行计数器ty_y实现，当hs=1时对vs进行计数，如果yv_y大于或等于24，就可以输出稳定的有效视频数据。
解码模块如图4所示。
图5是itu-656 数字解码模块在modelism6.6中的仿真图，图中td_data是输入的视频流，当它出现ff0000同时xy中的h、v 都为0时，开始输出有效的视频数据，输出信号oycbcr的高8 位为y，低8位为cb和cr交替出现。
3 sdram控制器设计 视频采集模块中，采用itu656同步时钟27 mhz，而sdram的工作时钟通常在100 mhz以上。为解决读写时钟不同步的问题，本设计中，采用了四个异步fifo［6］用于跨时钟域的同步化，其作用是将ccd摄像头采集进来的图像数据进行缓存，通过写fifo读入sdram，读fifo输出给vga控制器。读写fifo是利用fpga的片上资源从ip核中调用过来的，将sdram的数据端口仿真成四个虚拟端口（两个写端口两个读端口），控制器根据缓存fifo的状态对sdram发出读写请求，采用页模式突发传输和bank切换的方式来匹配时序要求。
异步fifo的宏模块设计如图6所示。
图6fifo宏模块 sdram 本身要进行刷新、预充电等操作，不能时刻处于传输数据的状态，而且控制逻辑比较复杂，不能和其他器件进行透明连接,为此，设计一个 sdram控制器,其他模块就可通过 sdram控制器模块接口和 sdram 相连接，从而对 sdram 进行操作，实现乒乓缓存。
本文设计的sdram控制器［7］主要由系统读写控制模块、sdram控制接口模块、命令解析响应模块、数据通道模块组成，其内部结构如图7所示。
（1）系统读写控制模块
该模块的功能是与外设接口相连，接受外部发来的控制信号，并对控制信号进行编码。根据fifo的空满状态发出对sdram的读写请求信号。当写fifo里面所存储的数据大小为sdram一页数据时，则写fifo通过读请求信号往sdram里面传输数据。因为每个端口fifo里面可以缓存两页大小的sdram数据，所以当写fifo向sdram里面传输数据时也可以继续缓存输入进来的图像数据。同理，当vga控制器向读fifo读取数据时，读fifo里面缓存的数据大小小于sdram每页的大小时就可以进行读出了，此时sdram也可以继续向读 fifo里面缓存数据。以此轮流进行缓存操作。
（2）sdram 控制接口模块
该模块主要完成初始化功能以及分析系统指令。初始化结束后，系统开始接收并分析指令信号和地址信息，同时还要分析来自命令模块的cmd_ack反馈信号，并产生相应的saddr信息给命令响应模块。
（3）命令解析响应模块
该模块接受来自sdram控制接口模块的指令并进行判断，根据发来的指令产生对sdram进行控制的信号：地址信号(addr)、控制信号(cs、cke)和指令信号(ras、cas、we)。此外，可以通过load-mode命令，对预设的模式寄存器进行配置，从而实现对sdram工作模式的操控。最后，该模块通过使能信号oe来判断读、写请求信号，以此来控制数据通路模块数据的发送方向。
（4）数据通路模块
数据通路模块的功能是：在写数据时将输入的数据送入到sdram中或者在读数据时将sdram中的数据送到数据输出口。
sdram控制器的顶层模块如图8所示。
设计好 sdram控制器后，采用2个sdram，利用乒乓缓存［8］结构的方式来实现对视频信号的缓存。在第1个缓存周期，输入的数据流在sdram控制器控制下被写入到sdram1中。在第2个缓存周期，通过选择信号的切换，将输入的数据流写入到sdram2中；同时，将sdram1中写入的第1个缓存周期的数据读出，输出到运算处理单元进行处理。在第3个缓存周期，再次通过选择信号切换数据的输入与输出缓存单元。如此循环，从而将缓冲的数据流不停顿地送到下一模块进行处理。
图9为sdram控制接口模块的时序仿真图。图中，完成初始化后，该模块根据cmd指令，解析出对应的sdram操作命令。
图10是指令解析响应模块仿真时序图，该模块根据发来的读、写、刷等命令，对sdram的控制信号ras_n、cas_n、we_n、cke进行编码。
4 结论 本文首先介绍了基于fpga视频采集系统的整体设计，对于采集和存储过程中实时性和高效性的要求，分别讨论了itu656视频解码中需要从采集到的视频数据中提取出有效视频数据流，以及将其调整为符合vga显示的像素大小。在存储模块中，sdram的工作时钟和视频采集系统的时钟不同，为解决读写时钟不同步的问题，采用异步fifo实现跨时钟域的同步化，同时采用了两片sdram实现乒乓缓存设计，对sdram控制器各个模块分别进行modelsim仿真验证，得出正确结果，可以满足系统的整体要求。
如何选择合适的安规电容企业
微软高通联手 骁龙835版Win10笔记本将亮相：无风扇超轻薄
基于 LoRa 的远距离无线连接设计
充电泵12V至±5V电源电路图
中国移动4G用户数量正保持缓慢增长态势
基于FPGA的视频采集需要实施显示和视频数据存储的问题
编辑4k视频“上线”
mercury无线路由器的设置步骤
高通LCD点阵字库显示方案 — 基于STM832的128X64显示
双通道降压型DC/DC转换器LT3506的性能特点及功能实现
哪些蓝牙耳机音质比较好？音质最好的蓝牙耳机排行榜
DeepMind携手研究机构开发出可处理50多种眼科疾病的AI系统
为什么货币需要内在价值
Northvolt欲建欧洲最大锂电池厂,预定将于2019年完工
汽车接插件组成的基本结构
百度将人工智能融入生活 建全球首个AI公园
分享中兴5G洞见 推动5G产业链发展共赢5G时代
研究人员拟用可穿戴设备检测COVID-19 将可为无症状感染者进行全面评估
PCB制造的射频和微波性能怎样卷起来
高频化带来新机遇，高频通信材料将迎来新变革
0 引言 图1视频采集系统框图视频图像采集系统应用非常广泛，随着计算机通信技术的不断发展，fpga以其高性能、低开发成本等优点广泛应用于视频和图像处理领域［1］，因此,更加深入地研究基于fpga的实时图像采集系统, 对于视频监控系统、高性能的图像处理等都具有极其重要的作用。本文主要研究的内容是基于fpga的视频采集及显示系统中的视频解码和视频数据存储的问题，对于提取有效视频数据流和高效实时存储大量数据具有显著性的意义。
1 视频图像数据采集系统的总体架构
图1为视频图像采集的系统框图，主要由i2c配置模块、itu-656视频解码模块、sdram控制器模块、视频格式转化模块和vga控制器模块组成［2］。为了使视频数据能实时、高速的显示，视频解码模块和sdram控制模块就显得尤为重要。
2 itu-656解码 itu-656是国际电信联盟制成的视频标准，是国际电信联盟建议为实现在专业视频设备之间传输bt.601标准、4∶2∶2的ycrcb数字视频信号而定义的一个并行接口和一个串行接口。其中，并行接口在传输4∶2∶2的ycrcb视频数据流的同时，也会输出水平同步信号hs及垂直同步信号vs控制。
本文中itu-656标准的视频数据以27 mb/s的速率按cb，y, cr，y, cb，y, cr，…的顺序分时传送［3］。其中，cb，y，cr是同一个地址的亮度和色差信号，y对应于下一个亮度采样信号。 y采样频率为13.5 mhz，cb采样频率是6.75 mhz，使用8位pcm编码表示每个采样点。itu-656 标准的数据传输格式如图2所示，每行采样1 728个样本点，其中y为720个，cb，cr各360个。消隐期间的数据为288个(包括eav和sav)。
行控制信号有两个定时基准信号：sav和eav。 eav和sav之间有280个固定填充数据。 sav和eav具有相同的前同步码：ff，00,00，而后面的xy决定着该行在整个数据帧的位置，并且sav和eav信号可以通过xy的值来区别，同时xy也包含有奇偶场识别、状态和信息、场消隐行消隐状态。
f:f=0奇场，f=1偶场；v：v=1消隐数据，v=0有效行数据；h:h=0表示sav，h=1表示eav；p3，p2，p1，p0：保护比特位，其值由f、v、h 决定。
itu-656数字解码模块［4］的功能是根据itu-656视频数据流的特点将有效视频数据ycbcr和f、v、h 控制信号分离开来，并通过计算像素行列的坐标，确定图像中像素的具体位置，根据itu-656数据传输时序，通过行内计数方式去除行消隐数据，并分离出sav、eav 信号，留下只包括ycbcr信号的数据流，并将其串行输出。itu-656数字解码模块另一个功能是通过计算水平数据的像素坐标，将图像分辨率由720×576调整为640×480，以便在vga中显示。
根据sav 和eav 都是以ff、00、00 的顺序开始的特点，设置一个序列移位器，采用4级寄存器级联的形式，每个寄存器缓存8 bit数据，并监测后面3个寄存器的值，当这三个寄存器缓存的数据不是ff、00、00时，序列移位器向右移，当检测到这3个寄存器的值为ff、00、00、时，即认为是sav或eav的到来，就将第一个寄存器的 bit6、bit5、bit4分别存放到3个一位寄存器中，从而提取出 f、v、h 信号。h(bit4)如果为0，即表示有效数据开始。再通过 v、f是否为0可判断出是有效行数据还是消隐数据，是奇场还是偶场的数据。解码过程如图3所示。
调整图像分辨率，定义一个active_vedio信号，如果active_vedio在0~1 440之间，则为有效视频数据。首先720行数据调整为640行数据，把sav和eav信号提取出来后，此处设计一个fval信号，如果fval为1，则得到一行720个有效像素值，因此要在这720个有效像素中裁剪掉80个像素。本设计使用verilog语言，水平方向的像素提取用一个除法器iskip来实现，定义一个水平计数器oty_x，即除法器iskip=otv_x%9,若iskip为0，则该像素点被丢弃，否则保留。在丢弃像素点时遵循两个原则［5］：（1）像素数据为只包含亮度信息的像素点，则将此像素点的亮度值y丢弃，并且将上一个像素点的色度分量cr同时丢弃；（2）像素数据为一个完整的像素点，包含了y、cb、cr分量值：将分量y和cb丢弃，保留cr；其次576行数据调整为480行数据，根据pal制式视频信号的特点,分别取偶数场24~264行240个数据，奇数场312~552行240个数据，组成480行vga数据，其他数据丢弃，由于丢弃的仅是一副图像的最边缘部分，所以对整幅图像影响不大。
提取有效视频数据，pal制式的视频信号的场消隐一共是49行，其中偶数场和奇数场的消隐期分别为24行和25行。通过设计一个4位行计数器ty_y实现，当hs=1时对vs进行计数，如果yv_y大于或等于24，就可以输出稳定的有效视频数据。
解码模块如图4所示。
图5是itu-656 数字解码模块在modelism6.6中的仿真图，图中td_data是输入的视频流，当它出现ff0000同时xy中的h、v 都为0时，开始输出有效的视频数据，输出信号oycbcr的高8 位为y，低8位为cb和cr交替出现。
3 sdram控制器设计 视频采集模块中，采用itu656同步时钟27 mhz，而sdram的工作时钟通常在100 mhz以上。为解决读写时钟不同步的问题，本设计中，采用了四个异步fifo［6］用于跨时钟域的同步化，其作用是将ccd摄像头采集进来的图像数据进行缓存，通过写fifo读入sdram，读fifo输出给vga控制器。读写fifo是利用fpga的片上资源从ip核中调用过来的，将sdram的数据端口仿真成四个虚拟端口（两个写端口两个读端口），控制器根据缓存fifo的状态对sdram发出读写请求，采用页模式突发传输和bank切换的方式来匹配时序要求。
异步fifo的宏模块设计如图6所示。
图6fifo宏模块 sdram 本身要进行刷新、预充电等操作，不能时刻处于传输数据的状态，而且控制逻辑比较复杂，不能和其他器件进行透明连接,为此，设计一个 sdram控制器,其他模块就可通过 sdram控制器模块接口和 sdram 相连接，从而对 sdram 进行操作，实现乒乓缓存。
本文设计的sdram控制器［7］主要由系统读写控制模块、sdram控制接口模块、命令解析响应模块、数据通道模块组成，其内部结构如图7所示。
（1）系统读写控制模块
该模块的功能是与外设接口相连，接受外部发来的控制信号，并对控制信号进行编码。根据fifo的空满状态发出对sdram的读写请求信号。当写fifo里面所存储的数据大小为sdram一页数据时，则写fifo通过读请求信号往sdram里面传输数据。因为每个端口fifo里面可以缓存两页大小的sdram数据，所以当写fifo向sdram里面传输数据时也可以继续缓存输入进来的图像数据。同理，当vga控制器向读fifo读取数据时，读fifo里面缓存的数据大小小于sdram每页的大小时就可以进行读出了，此时sdram也可以继续向读 fifo里面缓存数据。以此轮流进行缓存操作。
（2）sdram 控制接口模块
该模块主要完成初始化功能以及分析系统指令。初始化结束后，系统开始接收并分析指令信号和地址信息，同时还要分析来自命令模块的cmd_ack反馈信号，并产生相应的saddr信息给命令响应模块。
（3）命令解析响应模块
该模块接受来自sdram控制接口模块的指令并进行判断，根据发来的指令产生对sdram进行控制的信号：地址信号(addr)、控制信号(cs、cke)和指令信号(ras、cas、we)。此外，可以通过load-mode命令，对预设的模式寄存器进行配置，从而实现对sdram工作模式的操控。最后，该模块通过使能信号oe来判断读、写请求信号，以此来控制数据通路模块数据的发送方向。
（4）数据通路模块
数据通路模块的功能是：在写数据时将输入的数据送入到sdram中或者在读数据时将sdram中的数据送到数据输出口。
sdram控制器的顶层模块如图8所示。
设计好 sdram控制器后，采用2个sdram，利用乒乓缓存［8］结构的方式来实现对视频信号的缓存。在第1个缓存周期，输入的数据流在sdram控制器控制下被写入到sdram1中。在第2个缓存周期，通过选择信号的切换，将输入的数据流写入到sdram2中；同时，将sdram1中写入的第1个缓存周期的数据读出，输出到运算处理单元进行处理。在第3个缓存周期，再次通过选择信号切换数据的输入与输出缓存单元。如此循环，从而将缓冲的数据流不停顿地送到下一模块进行处理。
图9为sdram控制接口模块的时序仿真图。图中，完成初始化后，该模块根据cmd指令，解析出对应的sdram操作命令。
图10是指令解析响应模块仿真时序图，该模块根据发来的读、写、刷等命令，对sdram的控制信号ras_n、cas_n、we_n、cke进行编码。
4 结论 本文首先介绍了基于fpga视频采集系统的整体设计，对于采集和存储过程中实时性和高效性的要求，分别讨论了itu656视频解码中需要从采集到的视频数据中提取出有效视频数据流，以及将其调整为符合vga显示的像素大小。在存储模块中，sdram的工作时钟和视频采集系统的时钟不同，为解决读写时钟不同步的问题，采用异步fifo实现跨时钟域的同步化，同时采用了两片sdram实现乒乓缓存设计，对sdram控制器各个模块分别进行modelsim仿真验证，得出正确结果，可以满足系统的整体要求。
如何选择合适的安规电容企业
微软高通联手 骁龙835版Win10笔记本将亮相：无风扇超轻薄
基于 LoRa 的远距离无线连接设计
充电泵12V至±5V电源电路图
中国移动4G用户数量正保持缓慢增长态势
基于FPGA的视频采集需要实施显示和视频数据存储的问题
编辑4k视频“上线”
mercury无线路由器的设置步骤
高通LCD点阵字库显示方案 — 基于STM832的128X64显示
双通道降压型DC/DC转换器LT3506的性能特点及功能实现
哪些蓝牙耳机音质比较好？音质最好的蓝牙耳机排行榜
DeepMind携手研究机构开发出可处理50多种眼科疾病的AI系统
为什么货币需要内在价值
Northvolt欲建欧洲最大锂电池厂,预定将于2019年完工
汽车接插件组成的基本结构
百度将人工智能融入生活 建全球首个AI公园
分享中兴5G洞见 推动5G产业链发展共赢5G时代
研究人员拟用可穿戴设备检测COVID-19 将可为无症状感染者进行全面评估
PCB制造的射频和微波性能怎样卷起来
高频化带来新机遇，高频通信材料将迎来新变革