引 言
在数字视频创新已经成为数字信息产业热点的今天,数字视频系统的设计方法不断提高,数字视频系统的复杂度已经远远超过以往任何时候。达芬奇技术成功实现数字视频需要四大要素的最新进步,即:处理器、开发工具、软件以及系统专业技术。由于能够在集成这四种要素的平台中实现数字视频、音频、语音与话音技术,因此达芬奇技术可以为数字视频的当前变革打下基础。
本设计是在一块60*60mm 的pcb板上来完成视频的采集、处理与显示。由摄像头采集的视频图像经由解码器转换成达芬奇处理器能够处理的格式,在codec engine 中实现h.264 、mpeg-4编解码,在lcd液晶屏上最高能达到1280*720 分辨率下30fps(帧/每秒)流畅显示。这样的数字视频系统能达到尺寸小,功能强,设计灵活,实用性广的优点。
1. 1.系统的总体架构及工作原理
2. 1.1 tms320dm*6 器件总揽 达芬奇处理器tms320dm*6 是基于业界最高性能的dsp平台—ti tms320c6000? 由arm926ej-s 内核、tms320c64x+ dsp 内核、系统控制、视频处理子系统(vpss)、电源管理、外部存储器接口、外围控制模块等功能模块组成。
tms320dm*6 中的arm926ej-s 内核具有16kb 指令和8kb 数据cache 及16kb rom 和16kb ram 。tms320c64x+ dsp 内核具有32kb l1 程序r a m / c a c h e 、8 0 k b l1 数据r a m /cache 及64kb l2 ram/cache 。具有ddr2 内存控制器;64 通道增强型dma 控制器;串行端口(3 个uart、i2c、spi、音频串口);3 个64 位通用定时器;10/100m 以太网;usb2.0 端口;3 个pwm 端口;多达71 个通用i/o 口;支持mmc/sd/cf 卡等。系统控制模块提供了看门狗、中断控制器、电源管理控制器、复位控制器及2 个片上振荡器。视频处理子系统(vpss) 有用于视频输入的视频前端输入(vpff) 接口由ccd 控制器(ccdc), 预处理器、柱状模块、自动曝光/白平衡/聚焦模块(h3a)和寄存器组成;和用于视频输出的视频后端输出(vpbe)接口由屏幕菜单式调节器(osd)、视频编码器(venc)和四路10bit dacs 组成。
1.2 系统的硬件组成及工作原理
整个数字视频系统采用的是由达芬奇处理器(tms320dm*6)、ddr2 sdram 、nand flash、视频解码器tvp5146 、电源管理芯片tps65023,ltc3412 加上外围接口芯片的方案。视频解码器把ccd摄像头传过来的模拟视频信号进行模/数转换,变成符合itu-bt.656 标准的数字视频信号,然后将数字视频信号传到达芬奇处理器的视频处理子系统的前端进行预处理经过codec engine 编解码后送到视频处理子系统的后端,直接输出数字视频信号到显示终端上或是通过四路54mhz 的dacs来提供ntsc/pal制式的模拟视频输出。dm*6 上的arm端主要做为控制器来控制视频解码芯片和外围接口芯片,dsp端主要负责视频编解码工作。系统硬件框图如图1所示
图1 系统硬件框图
1. 2.视频部分的硬件结构及其分析
2. 2.1 视频采集与解码
本设计选用ti公司的视频解码芯片tvp5146 完成从模拟到数字视频的转换。tvp5146 允许10路模拟视频输入,具有4路10bit a/d 转换器;场同步信号vs,行同步信号hs,奇偶场信号fid,时钟输出信号dataclk 等都由引脚直接引出,省去同步时钟电路的设计。
tvp5146 上的y[9:2]为输出的亮度视频信号,dataclk 为行锁定系统的输出时钟,像素时钟频率为27mhz, 用来同步数据采集,hs为行同步信号,vs为场同步信号分别与达芬奇处理器dm*6 视频端口对应的信号相连接。hs的高电平表示一行有效采样点个数,vs 的高电平表示一场有效信号,对于ntsc 制信号,单场为243 行, 奇偶场信号fid为1 时,表示当前为奇数场,为0 表示偶数场。视频解码芯片与dm*6 的接口电路如图2所示。
图2 视频前端模块接口
2.2 图像处理与显示
实时图像处理系统设计的难点是如何在有限的时间内完成大量图像数据的处理。只有图像处理系统的处理速度达到每秒25帧以上时才能达到实时的效果并且要想在显示终端上显示出高清晰的图像最重要的就是在codec engine 中的视频编解码运算。而达芬奇处理器能通过多种复杂的视频编解码来实现高清视频输出,如mpeg-4编解码能显示30fps分辨率为720p(1280*720);h.264 编解码能显示30fps 分辨率为d1(720*480) 等。tms320dm*6 处理器视频处理子系统中的视频后端提供的在线视频显示处理器既能够显示两组独立的视频窗口或两组独立的osd窗口,还可以以一个视频窗口、一个osd窗口和一个属性窗口的形式显示。视频编码器完成图像数据编码后可以通过内部的lcd控制器直接输出数字视频信号到液晶显示器上也可以通过四路54mhz 的dacs 进行d/a转换,来提供ntsc/pal、s-video 等格式的视频或音频输出。
3.电源设计
本设计采用的是ti 最新的基于达芬奇技术的tms320dm*x dsp 的电源管理芯片tps65023 在高达1.5a 的最宽负载电流范围内可实现高性能的数控功能与效率最大化。tps65023 集成了三个降压转换器以支持系统的内核电压、外设、i/o 以及存储器电压,还集成了两个可由外部输入引脚启动的通用200ma 线性低压降 (ldo) 稳压器。每个ldo 的输入电压范围都在2.5 v 至6.5 v 之间,因此既可通过其中一个集成降压转换器供电,也能直接通过电池供电。
在本设计中tps65023 的vdcdc1 管脚输出1.2v 电压用于dm*6 的内核供电,vdcdc2 管脚输出1.8v 电压用于dm*6 的存储器接口供电,vdcdc3 管脚输出3.3v 电压用于dm*6 的外设接口供电。由于tps65023 只提供1a/1.8v 电压不够供应两片ddr2 sdram,故还需一个输出1.8v 的电源管理芯片来为ddr2 供电,此系统选用的是ltc3412a 输出电流3a。这样用两个电源管理芯片就能满足系统供电。tps65023 与达芬奇dm*6 的接口电路如图3 所示。
图3 tps65023 与dm*6 的接口电路
4.软件实现
达芬奇软件架构涵盖低级的os 驱动程序乃至应用api。在达芬奇软件平台中可以细分为多任务的codec, 即视频(video) 、影像(image) 、语音(speech) 、音频(audio),统称visa。另外还包含具有多媒体框架组件的codec 引擎远程服务器。由此构成的信号处理层(spl) 一方面通过visa api 接口与应用层(apl)连接,另一方面则通过dsp/bios 与底层内核沟通。apl 包含客户增值差异化设计软件模块,并通过linux api 沟通底层内核的许多外围接口驱动。
expressdsp 配置工具的使用使得配置一个codec 的过程极其简单,下面就是一个完整的应用程序开发步骤:
第一步,开发并完成codec。就是要开发音视频编解码的核心算法,按照xdm 标准封装成为codec 库,codec 主要完成音视频的核心算法,应用程序运行时被调用,并不参与其他功能。
第二步,将codec 集成到codec engine 中。将第一步开发完成的codec 或已有的符合xdm 的codec 集成到codec engine 中,这一步需要配置两个javascript. 的脚本文件,其中一个脚本文件表明了,codec 的使用和配置信息,文件名一般为*.cfg, 另一个描述了codec 在达芬奇上的内存分配的配置,文件名一般为*tcf ,配置好这两个文件后,使用make 命令即可生成codec engine, 其文件名一般为*.x64p 。可被应用程序直接调用。
第三步,开发音视频应用程序,并在其中调用codec engine 。在linux 下开发音视频应用程序,包括用户界面,音视频的采集、播放、同步等,其中完成对codec engine 的调用,应用程序也要完成一个扩展名为cfg 的脚本配置文件,以表明对codec engine 的使用状况。
第四步,加载dsplink 和cmem 模块,运行应用程序至此一个完整的达芬奇音视频应用程序就完成了,其中许多过程是通过脚本文件配置完成的,过程非常简单易懂,下面我们需要在达芬奇上运行它,首先要加载dsplink 和cmem 两个驱动程序模块,其中dsplink 主要实现了arm 和dsp 的底层通信,而cmem 则主要是完成了在物理段上分配连续内存的功能,加载完这两个模块,这样便可以直接运行已完成的应用程序。
5.结论
基于tms320dm*6 为核心处理器的数字视频系统已经实现并且功能强大,性能稳定,扩展性强,功耗低,能很好的加速数字视频创新。本文的创新点:1.基于ti 强大的达芬奇处理器(双核)能够实现h.264 等复杂的编解码。2.利用ti 专门针对达芬奇供电的电源管理芯片tps65023 为其供电,很好的解决干扰、emi/emc 的问题而且还能达到功耗低的效果。
David Patterson新年首发声:RISC-V开源的产学研之路该怎么走?
眼观六路、耳听八方:汽车雷达系统将成为主流配置
2015-2020年移动社交行业用户规模保持稳中有增趋势
高性能32W双管荧光灯电子镇流器电路
NE555多用途延迟开关电源插座,Multi-function Power outlet
如何利用TPS65023芯片实现数字视频系统的设计?
芯森电子荣获“2023能源领域杰出贡献奖”
PEL-3000E可程式单通道电子负载的功能特点及应用范围
针对Cnc数控机床自动上下料|整体解决方案
坚果Pro3曝光采用了后置四摄的设计搭载骁龙730处理器不支持5G
数字电源精度的重要性分析
欧盟无条件批准英特尔167亿美元收购Altera
关于智能网联汽车的安全保障建议
Xilinx UltraScale+ 器件集成 MIPI D-PHY
5G时代来临 2000多万个5G终端真正连上了5G网
抗电磁干扰的PWM风扇控制器原理及应用
用cadence导出一个蓝色的图纸!怎么做?
华为nova 2系列“快速分享文件”打造职场总攻范儿
步进电机该如何处理散热问题?
5G时代的到来OPPOFind X手机是个不错的选择