基于DM642的视音频采集器的设计
基于dm642的视音频采集器的设计
地理信息系统( gis)、全球定位系统( gps)的广泛应用使人们享受到了基于位置服务所带来的诸多便利。传统gis 是以地图为可视化主要手段， 然而人类获取信息的70%来自于视觉， 因此将地理位置信息和视频信息有机结合可以极好的丰富g is的内容， 产生许多新的应用。比如微软的windows local live、影像城市武汉等网站都相继推出了实景地图， 让人们在网络上能直观、全面和便捷的了解各个城市。gps信息和视频信息的结合， 还有利于对地理信息系统进行3d 建模， 如日本岩根研究所推出的3dv ideog is软件， 通过陆地上以及空中拍摄的具有定位信息的全景视频图像， 可以自动生成相应的高逼真的3d 场景模型。
为了针对以上这些应用需求， 本文中提出了一种一体化的视频、音频和定位信息的数据采集传输器。
本采集器不仅可以通过网络直播的方式提供一个更自然、更真实、更及时的地理信息系统环境， 采集数据能为实景地图和3d 场景地图的构建提供素材， 还可以实现基于定位信息的视音频数据的分割和检索。
1 系统整体方案
为了实现采集器的高质量定位视音频压缩采集、实时的定位视音频传输， 以及低功耗以便携等要求， 系统中采用了t i公司的tms320dm642作为了采集器的主控芯片。dm642 是ti公司推出的一款专门面向多媒体应用的tms320c6000 家族中性能最高的定点dsp， 具有8路并行的运算器、3个视频专用和2个音频复用接口， 集成10 /100mbit / s以太网mac。该芯片具有的这些优点非常适合视音频信息的采集、压缩和传输。
图1为采集器的硬件框图。gps定位数据通过串口由tl16c752b 读入; 音频信号由tlv320a ic23b以8 kh z， 16bit量化采样; 视频信号通过tvp5150采集。进入dm642 的定位数据一路通过低码率的h 264视频编码后与g. 723的音频编码信号同步合成后， 通过无线网络发送到远程服务器， 另一路采用高码率编码后存储到2. 5寸硬盘。
图1 采集器硬件框图
2 系统硬件设计
2. 1 视频信号的采集
视频信号的采集如图2 所示， sclk 为时钟，gpcl为使能信号， yout为8位bt. 656信号。系统中将dm642的vp0配置为vp0a + mcasp模式， 其中vp0a 配置为8位bt. 656视频输入， 用来接一路视频输入。tvp5150pbs是一款高性能的视频编码器， 它将视频信号模拟摄像头输出的ntsc /pal模拟信号转换成数字色差信号( yuv4: 2: 2)， 输出格式为itu-r bt. 656。
图2 视频采集硬件框图。
2. 2 音频信号的采集
图3为音频输入框图， bclk 为位时钟， lrc in和lrcout分别为帧同步输入、输出， d in 和dou分别为音频输入、输出。mcasp同时接入4路音频输入和输出， 系统中将mcasp设置为突发帧同步模式。tlc320a ic23b 为音频编码器件， 支持麦克风、立体声输入和立体声输出， 根据g. 723 编码的要求， 话筒输入的电信号通过tlc320a ic23b进行8 k采样， 16比特量化。tlc320a ic23b 采用dsp模式与m casp交换数据。
图3 音频采集硬件框图。
2. 3 gps信号的采集
图4为gps信号采集框图， tx 和rx分别是串行数据发、收信号。tl16c752b 采用8位异步步行存储器接口， 支持的波特率最高可达到1 mbyte / s，与dm642的外部存储器em ifa 连接， 地址a 2 a0用于对tl16c752b 的8 个寄存器寻址。max3160是多协议收发器， 可以将串口接口电平配置为rs232 /rs422 /rs485 等多种接口电平标准。gps采集模块采用ho lux m - 89， 它的灵敏度为159 dbm， 支援nmea0183数据通讯协定， 其定位精度小于3 m， 高于s irf芯片， 因此除了能很好完成高速移动定位， 更适合做步行等低速定位。
图4 gps采集硬件框图。
2. 4 网络数据的传输
网络数据传输连接图如图5所示。dm642的网络接口是与pci、hpi复用的， 系统中通过pci总线的b3和b10配置为hpi16+ 以太网接口。以太网接口由emac(网络的数据通路)和md io( emac的状态和控制接口)两部分组成。系统中采用broadcom 公司的bcm5221作为10 /100m 以太网的收发器(物理层)。
为实现无线网络传输， 采用了3g路由器和无线网卡通过evdo 网络传输数据。3g 路由器采用tenda 的3g611r， 该路由器兼容evdo、hspa、td hsdpa三种3g网络。无线网卡采用中兴的ac2746， 该卡支持下行3. 1mb it / s， 上行1. 8mbit / s速率。
图5 网络传输硬件框图
3 系统软件设计
3. 1 总体流程图
图6为系统软件流程图。为了实现网络的实时传输且保证后期的定位视音频处理， 系统中采用了g. 723. 1音频压缩编码、h. 264视频压缩编码， gps数据仅保留经度、纬度、时间和高程四项数据以用于后期处理。由于g. 723的编码是每30 ms一帧， 为实现视音频和定位信息的同步， gps间隔也设置为30 ms， 而实际的gps 刷新速率为1次/ s， 因此需要通过经纬度内插的方式进行gps 定位信息与视频图像的匹配。为压缩视频速率实现无线实时播放且实现视音频的同步， 视频编码设置为90m s一帧， 视音频编码的对应关系为1：3。
图6 系统软件流程图
3. 2 gps数据的采集
系统中采用查询方式读取tl16c752b 中的gps数据， 由于gps数据是循环不间断发送， 软件设计时利用了tl16c752b 缓存资源， 采用了间断提取的方案以减小对dm642的占用。由于gps数据传输速率设置为4 800 baud， tl16c752b 的缓存为64字节， 因此只要以小于133ms的时间间隔去读取tl16c752b中的gps数据， 总能避免gps 数据的覆盖。由于编码3帧g. 723. 1音频的时间为90ms， 小于133ms， 因此每90ms读取gps数据1次， 读取11~ 12次后就可以完整的读完一组gps数据。
3. 3 音视频数据的采集和编码
音频数据的采集由m casp完成， 将采集缓存长度设置为480字节， 采集速率设置为8 khz， 量化比特数设置为16 bi，t 则每30 ms将会返回一个采集缓存满的标志， 通过查询读取该标志可以实现音频数据的无丢失采集。视频数据的采集由edma 完成，发送视频采集指令后， 由edma 完成将视频采集的原始视频数据搬移到指定内存。因此视音频数据的采集都不会占用dm642 的资源。g. 723. 1 的音频编解码是将itu t 的参考程序移植并优化使用，经测试优化后的g. 723. 1的编码时间小于5ms。
h264的视频编码采用seed公司的h264库， 该库支持c if( 352* 288) 100 kb it / s到800 kbit / s的编码速率， d1( 704* 576) 500 kbit/ s到4 000 kbit/ s的编码速率。程序中， 硬盘存储采用d1、2. 4m 编码，网络传输采用c if、300 kbit/ s编码， 经测试cif 编码时间小于5m s， d1编码时间小于11m s。
3. 4 硬盘数据存储
系统中采用的硬盘操作方式是直接输入输出方式( pio)， 为了防止每帧存盘占用过长的系统时间， 因此存盘任务采取了存盘缓冲的方案， 当缓冲区数据足够大时， 方进行硬盘操作。为防止硬盘文件过大， 超出了fat32的存储范围(小于4 gbyte)， 采取了当存盘文件大于800mb时， 重建一个序号相连的文件的方案。经测试硬盘读写速度最高可达到11. 8mbyte / s， 因此完全可以满足系统存储速度约为3mbyte / s的要求。
3. 5.网络数据传输
系统中的网络操作采用t i公司的ndk 库，该库支持tcp、udp、http等常见的网络协议。该库的处理能力为每b it / s需要1. 66 个处理周期， 以300 kb it / s的平均传输速率计算， 每帧需要492 k个处理周期， 系统中dm642 运行速率为600 mh z， 则平均每帧发送时间为0. 82 ms。为了实现实时播放， 系统中以utp 协议传输编码后的数据， tcp 协议传输网络控制指令。
4 测试结果和结论
图7为车载环境下的实时传输到服务器并显示的结果图。系统测试采用了步行和车载两种模式， 步行路线为南京师范大学1号门到3号门， 步行速度为5 km /h， 车载路线为南京师范大学1号门到中北校区， 车载速度为60~ 80 km /h， 网络传输采用江苏电信的evdo网络。通过测试证明了该采集器能很好的采集存储定位视音频数据， 在步行和车载环境下能通过evdo网络传输的实时传输定位视音频数据。
图7 测试结果图
本采集器实现了定位视音频的网络直播， 提供一个更丰富及时的地理信息系统环境。除此外本采集器的采集数据可以为实景地图和3d 场景地图的构建提供素材， 还可以实现基于地理定位信息的视音频分割和检索， 将极大的丰富地理信息系统的应用。
适合汽车级静电放电应用的双向器件
闻泰收购安世半导体100%股权具体方案出炉
CBB电容器的寿命如何延长
基于S3C2440A嵌入式处理器和Linux实现车载导航系统的应用方案
EMC保护电路简介及电路应用
基于DM642的视音频采集器的设计
丝印机怎么维修
中国移动通信联合会数字经济产业委员会正式启动
磁栅尺光栅尺编码器5MHz高速差分信号脉冲计数数据采集模块/4倍频
2020年至2021年普通光缆产品集采中标结果揭晓
基于新型三维合金负极的先进锂金属电池
激光雷达市场前景可期！到2024年市场价值将达到22.73亿美元
一文教你看懂无人驾驶的关键激光雷达
集成电路技术大幅提升MEMS性能
LED灯丝的内部构造剖析，单个LED失灵，开路保护器为你保驾护航！
Wision A.I.坚持临床循证医学 为医疗AI界带来很多参考
英特尔谈如何与Nvidia争夺AI芯片市场
是否可以将Shazam称为有听歌识曲功能应用的鼻祖？
英创信息技术WinCE主板新CAN驱动使用说明
COVID-19对存储器行业的影响
地理信息系统( gis)、全球定位系统( gps)的广泛应用使人们享受到了基于位置服务所带来的诸多便利。传统gis 是以地图为可视化主要手段， 然而人类获取信息的70%来自于视觉， 因此将地理位置信息和视频信息有机结合可以极好的丰富g is的内容， 产生许多新的应用。比如微软的windows local live、影像城市武汉等网站都相继推出了实景地图， 让人们在网络上能直观、全面和便捷的了解各个城市。gps信息和视频信息的结合， 还有利于对地理信息系统进行3d 建模， 如日本岩根研究所推出的3dv ideog is软件， 通过陆地上以及空中拍摄的具有定位信息的全景视频图像， 可以自动生成相应的高逼真的3d 场景模型。
为了针对以上这些应用需求， 本文中提出了一种一体化的视频、音频和定位信息的数据采集传输器。
本采集器不仅可以通过网络直播的方式提供一个更自然、更真实、更及时的地理信息系统环境， 采集数据能为实景地图和3d 场景地图的构建提供素材， 还可以实现基于定位信息的视音频数据的分割和检索。
1 系统整体方案
为了实现采集器的高质量定位视音频压缩采集、实时的定位视音频传输， 以及低功耗以便携等要求， 系统中采用了t i公司的tms320dm642作为了采集器的主控芯片。dm642 是ti公司推出的一款专门面向多媒体应用的tms320c6000 家族中性能最高的定点dsp， 具有8路并行的运算器、3个视频专用和2个音频复用接口， 集成10 /100mbit / s以太网mac。该芯片具有的这些优点非常适合视音频信息的采集、压缩和传输。
图1为采集器的硬件框图。gps定位数据通过串口由tl16c752b 读入; 音频信号由tlv320a ic23b以8 kh z， 16bit量化采样; 视频信号通过tvp5150采集。进入dm642 的定位数据一路通过低码率的h 264视频编码后与g. 723的音频编码信号同步合成后， 通过无线网络发送到远程服务器， 另一路采用高码率编码后存储到2. 5寸硬盘。
图1 采集器硬件框图
2 系统硬件设计
2. 1 视频信号的采集
视频信号的采集如图2 所示， sclk 为时钟，gpcl为使能信号， yout为8位bt. 656信号。系统中将dm642的vp0配置为vp0a + mcasp模式， 其中vp0a 配置为8位bt. 656视频输入， 用来接一路视频输入。tvp5150pbs是一款高性能的视频编码器， 它将视频信号模拟摄像头输出的ntsc /pal模拟信号转换成数字色差信号( yuv4: 2: 2)， 输出格式为itu-r bt. 656。
图2 视频采集硬件框图。
2. 2 音频信号的采集
图3为音频输入框图， bclk 为位时钟， lrc in和lrcout分别为帧同步输入、输出， d in 和dou分别为音频输入、输出。mcasp同时接入4路音频输入和输出， 系统中将mcasp设置为突发帧同步模式。tlc320a ic23b 为音频编码器件， 支持麦克风、立体声输入和立体声输出， 根据g. 723 编码的要求， 话筒输入的电信号通过tlc320a ic23b进行8 k采样， 16比特量化。tlc320a ic23b 采用dsp模式与m casp交换数据。
图3 音频采集硬件框图。
2. 3 gps信号的采集
图4为gps信号采集框图， tx 和rx分别是串行数据发、收信号。tl16c752b 采用8位异步步行存储器接口， 支持的波特率最高可达到1 mbyte / s，与dm642的外部存储器em ifa 连接， 地址a 2 a0用于对tl16c752b 的8 个寄存器寻址。max3160是多协议收发器， 可以将串口接口电平配置为rs232 /rs422 /rs485 等多种接口电平标准。gps采集模块采用ho lux m - 89， 它的灵敏度为159 dbm， 支援nmea0183数据通讯协定， 其定位精度小于3 m， 高于s irf芯片， 因此除了能很好完成高速移动定位， 更适合做步行等低速定位。
图4 gps采集硬件框图。
2. 4 网络数据的传输
网络数据传输连接图如图5所示。dm642的网络接口是与pci、hpi复用的， 系统中通过pci总线的b3和b10配置为hpi16+ 以太网接口。以太网接口由emac(网络的数据通路)和md io( emac的状态和控制接口)两部分组成。系统中采用broadcom 公司的bcm5221作为10 /100m 以太网的收发器(物理层)。
为实现无线网络传输， 采用了3g路由器和无线网卡通过evdo 网络传输数据。3g 路由器采用tenda 的3g611r， 该路由器兼容evdo、hspa、td hsdpa三种3g网络。无线网卡采用中兴的ac2746， 该卡支持下行3. 1mb it / s， 上行1. 8mbit / s速率。
图5 网络传输硬件框图
3 系统软件设计
3. 1 总体流程图
图6为系统软件流程图。为了实现网络的实时传输且保证后期的定位视音频处理， 系统中采用了g. 723. 1音频压缩编码、h. 264视频压缩编码， gps数据仅保留经度、纬度、时间和高程四项数据以用于后期处理。由于g. 723的编码是每30 ms一帧， 为实现视音频和定位信息的同步， gps间隔也设置为30 ms， 而实际的gps 刷新速率为1次/ s， 因此需要通过经纬度内插的方式进行gps 定位信息与视频图像的匹配。为压缩视频速率实现无线实时播放且实现视音频的同步， 视频编码设置为90m s一帧， 视音频编码的对应关系为1：3。
图6 系统软件流程图
3. 2 gps数据的采集
系统中采用查询方式读取tl16c752b 中的gps数据， 由于gps数据是循环不间断发送， 软件设计时利用了tl16c752b 缓存资源， 采用了间断提取的方案以减小对dm642的占用。由于gps数据传输速率设置为4 800 baud， tl16c752b 的缓存为64字节， 因此只要以小于133ms的时间间隔去读取tl16c752b中的gps数据， 总能避免gps 数据的覆盖。由于编码3帧g. 723. 1音频的时间为90ms， 小于133ms， 因此每90ms读取gps数据1次， 读取11~ 12次后就可以完整的读完一组gps数据。
3. 3 音视频数据的采集和编码
音频数据的采集由m casp完成， 将采集缓存长度设置为480字节， 采集速率设置为8 khz， 量化比特数设置为16 bi，t 则每30 ms将会返回一个采集缓存满的标志， 通过查询读取该标志可以实现音频数据的无丢失采集。视频数据的采集由edma 完成，发送视频采集指令后， 由edma 完成将视频采集的原始视频数据搬移到指定内存。因此视音频数据的采集都不会占用dm642 的资源。g. 723. 1 的音频编解码是将itu t 的参考程序移植并优化使用，经测试优化后的g. 723. 1的编码时间小于5ms。
h264的视频编码采用seed公司的h264库， 该库支持c if( 352* 288) 100 kb it / s到800 kbit / s的编码速率， d1( 704* 576) 500 kbit/ s到4 000 kbit/ s的编码速率。程序中， 硬盘存储采用d1、2. 4m 编码，网络传输采用c if、300 kbit/ s编码， 经测试cif 编码时间小于5m s， d1编码时间小于11m s。
3. 4 硬盘数据存储
系统中采用的硬盘操作方式是直接输入输出方式( pio)， 为了防止每帧存盘占用过长的系统时间， 因此存盘任务采取了存盘缓冲的方案， 当缓冲区数据足够大时， 方进行硬盘操作。为防止硬盘文件过大， 超出了fat32的存储范围(小于4 gbyte)， 采取了当存盘文件大于800mb时， 重建一个序号相连的文件的方案。经测试硬盘读写速度最高可达到11. 8mbyte / s， 因此完全可以满足系统存储速度约为3mbyte / s的要求。
3. 5.网络数据传输
系统中的网络操作采用t i公司的ndk 库，该库支持tcp、udp、http等常见的网络协议。该库的处理能力为每b it / s需要1. 66 个处理周期， 以300 kb it / s的平均传输速率计算， 每帧需要492 k个处理周期， 系统中dm642 运行速率为600 mh z， 则平均每帧发送时间为0. 82 ms。为了实现实时播放， 系统中以utp 协议传输编码后的数据， tcp 协议传输网络控制指令。
4 测试结果和结论
图7为车载环境下的实时传输到服务器并显示的结果图。系统测试采用了步行和车载两种模式， 步行路线为南京师范大学1号门到3号门， 步行速度为5 km /h， 车载路线为南京师范大学1号门到中北校区， 车载速度为60~ 80 km /h， 网络传输采用江苏电信的evdo网络。通过测试证明了该采集器能很好的采集存储定位视音频数据， 在步行和车载环境下能通过evdo网络传输的实时传输定位视音频数据。
图7 测试结果图
本采集器实现了定位视音频的网络直播， 提供一个更丰富及时的地理信息系统环境。除此外本采集器的采集数据可以为实景地图和3d 场景地图的构建提供素材， 还可以实现基于地理定位信息的视音频分割和检索， 将极大的丰富地理信息系统的应用。
适合汽车级静电放电应用的双向器件
闻泰收购安世半导体100%股权具体方案出炉
CBB电容器的寿命如何延长
基于S3C2440A嵌入式处理器和Linux实现车载导航系统的应用方案
EMC保护电路简介及电路应用
基于DM642的视音频采集器的设计
丝印机怎么维修
中国移动通信联合会数字经济产业委员会正式启动
磁栅尺光栅尺编码器5MHz高速差分信号脉冲计数数据采集模块/4倍频
2020年至2021年普通光缆产品集采中标结果揭晓
基于新型三维合金负极的先进锂金属电池
激光雷达市场前景可期！到2024年市场价值将达到22.73亿美元
一文教你看懂无人驾驶的关键激光雷达
集成电路技术大幅提升MEMS性能
LED灯丝的内部构造剖析，单个LED失灵，开路保护器为你保驾护航！
Wision A.I.坚持临床循证医学 为医疗AI界带来很多参考
英特尔谈如何与Nvidia争夺AI芯片市场
是否可以将Shazam称为有听歌识曲功能应用的鼻祖？
英创信息技术WinCE主板新CAN驱动使用说明
COVID-19对存储器行业的影响