在RISC架构嵌入式平台上实现简单的无线可视电话设计
1.引言
对于重亲情和友情的中国人来讲，可视电话是普通百姓盼望已久的通信方式。可视电话是集通信技术、计算机技术、音视频处理技术等为一体的产品，是信息技术发展的方向。目前可视电话从产品类型上分主要有两种：一种是基于pc机的可视电话；另一种是脱离pc的一体化可视电话；从信号传输线路上分主要有：基于isdn,adsl等的宽带可视电话和基于pstn的窄带可视电话。pstn在中国已经发展了几十年，是目前覆盖最广、最为经济、群众基础最为广泛的的通信网。因此在pstn网络上实现简易便于推广的可视电话仍然有很强的现实意义。
我国基于pstn可视电话的标准是依据itu-t h.324制定的。目前市面上所有的pstn可视电话基本采用mcu+专用asic芯片来实现h.324协议所要求的音视频编码以及协议控制，或者处理器+dsp架构的方案，系统构成复杂。本文提出一种新的基于risc架构嵌入式平台的可视电话，实现了系统构成简单的无线可视电话。该方案可开发出独立的可视电话终端，并可用于通信，监控等领域。
2.h.324协议简介
图-1 为h.324 协议的框图，图中框内为建议h.324 协议范围。建议内容主要包括h.263/h.261 视频编解码协议、g.723 音频编解码协议、v.14 数据协议、h.223 复用/解复协议、h.245 控制协议以及modem（控制协议）等，可参见参考文献[1].
图-1 h.324 协议框图
在pstn 网络上传输低码率的音视频信息必须进行压缩编码，在h.324 协议中，音视频编解码是核心内容之一h.263 是由itu 定义，支持用于视频会议和视频电话应用程序的视频编解码。h.263 基于h.261 编码发展而来，是特别面向低码率的视频编码而设定，能在最低带宽为 20k 到 24kbit/sec 上传输的视频流。g.723.1 是itu 组织针对电话带宽的语音信号推出的一种双速率语音编解码标准，最低能以5.3kbps 的速率传输音频流。
3. 基于arm处理器s3c2440a系统硬件平台构成
图-2 系统硬件架构
整体硬件架构图如图-2 所示。
（1） 系统的核心为基于risc 架构的arm 处理器s3c2440.该处理器韩国三星电子推出的一个16/32-bit risc 小型高性能微处理器。采用速度最高可达533mhz 的arm920t 内核， 可提供面向普通系统外设的各种功能，因此不需增加额外器件，在降低系统复杂度的同时，向终端用户提供camera 接口、tft 及stn 液晶显示器的功能及sd/mmc/sdio 卡插槽等附加设备。该处理器性能强大，能够满足h.263 编解码以及g.723.1 编解码的运算要求。可参见参考文献[9]。
（2） 系统的视频采集部分：采用30 万像素的cmos camera ov9650esl.该器件最高能采集1280*1024 的像素阵列，足够满足系统的需求。利用s3c2440a专有的camera 控制器对视频数据进行采集，并采用iic 总线对其进行配置曝光时间，白平衡等参数。
（3） 系统的显示部分：采用lg 的3.5 寸65k 色tft 液晶显示屏，该屏幕分辨率为320*240,满足系统需求。在本设计中，利用处理器的液晶数据接口对液晶屏幕的对其进行配置显示格式，并利用sdram 作为显示存储区域，利用s3c2440a 集成的lcd 控制器对液晶屏幕进行输出显示。
（4） 系统的音频输入输出部分：采用codec 芯片uda1341,该音频芯片内部集成adc 以及dac,通过接驳mic,speaker 来组成系统的音频的采集与播放功能。该芯片通过iis 总线与cpu 进行数据的传输，并可以通过l3-bus设置其采集速率，增益等。
（5） 与pstn 网络接口部分：为实现在pstn 网络上传输数据，遵从h.324 协议，采用conexant 的cx06833.该芯片通过uart 接口与cpu 相连接，并提供pstn 网络接口。可参见参考文献[10]
（6） 系统存储部分：内存采用型号为is42s32200 的sdram,芯片的容量大小为8mbyte,用于运行软件系统。程序存储采用sst39vf320x,该芯片为nor型flash 用于存储程序，容量大小为4mbyte.
（7） 附件：包括4*4 键盘，以及工作状态显示led 等。
4. 系统软件的实现
系统的流程见图-3。
图-3 系统软件流程
在硬件系统上电后，软件对硬件做初始化即进入待机状态。当摘机后，cpu 通过modem内置的模拟电话控制进行模拟通话。通话双方均按可视建，经过h.245 协议协商，开始建立可视。
系统通过cmos camera 采集视频，在sdram 中开辟一段内存用于视频内容的缓存，h.263 编码部分从该缓存中按照一定的帧率取出图像进行编码。cpu 控制codec 芯片通过mic 进行语音的采集，同样在sdram 中开辟用于存储音频的缓存，g.723.1 编码成码流。
h.223 将视频码流、音频码流及控制数据码流复用，通过modem 调制到pstn 网络上进行模拟线路的传输。
从 modem 获得的数据码流则解复成音频及视频码流。h.263 码流解码后，以固定的帧率刷新显存。arm 将显存中的数据通过内置的tft 控制器，传输到4 寸 320*240 的液晶显示屏上显示。g.723.1 码流通过g.723.1 解码器解码，输出到codec 芯片，通过功放推动扬声器播放。
4.1 系统硬件的初始化
在 s3c2440 中，内含名为stepping stone 的4k 的sram,可用做bootloader,用于系统的初始化。系统上电启动时，将flash 中的初始化程序段读入sram 中，初始化cpu 内部的时钟，sdram 控制器，看门狗，中断等。并初始化memory system,将flash 中的程序搬移到sdram 中，系统主程序运行在sram 中。进入主程序后，初始化gpio,液晶屏幕，camera,keyboard 等等外设。初始化完毕，系统进入待机，等待摘机。
4.2 h.263编解码模块
在risc架构的嵌入式系统中实现可视通话的关键之一是如何实现h.263编解码。h.263协议是很成熟的一个视频编码压缩协议，见图-4.在本文中对h.263协议不详述，仅介绍在基于arm处理器的系统中如何实现，具体可参见参考文献[2].
4.2.1 h.263编码
图-4 h.263 编码框图
在如图-4 所示，h.263 编码器主要由4 部分组成：变换编码t,量化q,预测p,熵编码vlc;对于实际应用的编码系统，码流控制cc 也必不可少的部分。图中有 2 个单刀双置开关，用于选择intra 和inter.判断当前帧的类型，判断之后分成intra 和inter的分支，分别进行处理。
在本系统中，h.263 编码器过程是：
在函数处理层在h.263 编码任务发出后，即调用处理函数video_encode 进行编码，从内存中读出一帧图像，判断当前帧的类型。如图-5 所示。
图-5 h.263 编码软件流程
1）intra 帧情况。此时开关拨到上面的开关。视频帧分块后的当前块（目前处理的视频块）输入经过变换编码，量化后进行熵编码作为码流输出；量化结果再经过反量化和反变换作为参考帧储存。最后调用重构图像进行去块效应滤波。
函数 codeoneintra（）对当前帧按照i 帧进行编码，该函数输入为：
h263encode_memory * mems 编码信息结构体指针。
h.263encode_memory{
重建帧结构指针，参考帧结构指针，重建宏块结构指针， 参考宏块结构指针，解码图像参数结构指针，解码后系数，宏块参数结构指针，解码过程结构指针}
2）inter 帧情况。此时开关拨到下面的开关。视频帧分块后的当前块首先在参考帧搜索区域中进行运动估计得到预测块（参考帧中与当前块最相近的块），同时得到运动矢量， 运动矢量熵编码作为码流输出。 预测块与当前块相减得到差值图像，对差值图像进行变换编码，量化后进行熵编码作为码流输出。
4.2.1 h.263解码
下图6是h.263 解码器系统框图：
图-6 h.263 解码器框图
如图-6 所示，h.263 解码器与编码器对应，也有4 个主要部分：反熵编码，反量化（scale），反dct（idct），运动估计motion estimation.图2 简单示意了inter 帧解码的过程，即idct 之后的结果都与运动估计结果相加，但在intra 帧时候，不需要与运动估计预测结果相加。可以看出， 解码器相对于编码器， 流程比较简单。
h.263 解码过程是：
1）intra 帧情况，对码流中帧内系数码流进行反熵编码，反量化，idct 即完成视频帧的解码，得到视频数据输出；2）inter 帧情况，对差值进行反熵编码，反量化，idct,得到的结果与运动估计预测块相加，完成运动补偿，随后得到视频数据输出；4.3 g.723.1编解码。
本系统的另一个关键是在嵌入式架构上实现g.723.1 的编解码。该标准能够对输入的模拟语音信号用8khz 采样，16bit 线性pcm 量化的语音信号压缩成6.3kbps 或5.3kbps 的比特流。g. 723. 1 的两种码率根据不同需求可供选择，高码率为6. 3kb/s, 采用多脉冲最大似然量化（mp-mlq）编码算法，具有较高的重建语音质量； 低码率为5. 3kb/s,以acelp 算法为基础， 计算复杂度则较低。本系统中采用acelp 算法的低码率语音压缩。限于篇幅，本文在此不详述，可参阅参考文献[6]与[8].
4.4 h.245协议的实现
h.245协议的全称是多媒体通信控制协议，他给出了一组用于描述终端信息，带宽协商等食物消息的语法和语义，主要提供端到端的信令功能，以便通信双方能正确的互联。h.245的信令控制h.324系统的操作，包括能力交换，逻辑通道的打开和关闭，模式优先请求，复用表项传输，流量控制消息，通用命令和指示。可参见参考文献[4].
在系统实现的时候，利用srp简单重传协议提供可靠的h.245码流的传输，采用一个发送标记，当发送一个命令帧后，激活该标记，此时后续的命令帧都不进行发送，当收到相应帧后，清除该标记，发送下一个命令帧。期间若有超时没有收到响应帧，则重发当前帧；若重发多次仍没有收到响应帧，则终止通信，并报知应用程序通信错误。整个过程由arm来进行控制。
4.5 h.223协议的实现
h.223 协议是低位率多媒体通信复用协议。分为复用层（mux）和适配层（al），al负责将从用户层和io 层获取的不同数据流转换。al 分为al1、al2、al3 一共三层，分别进行数据和控制码流、音频码流、视频码流的传输。mux 将al 的码流按照复用表进行码流复用。该协议由arm 来完成。具体可参见参考文献[5]
5 系统实现结果
该系统在建立稳定的模拟通话之后，通信双方按下可视键，建立连接。可以选择通话的视频的质量，视频在qcif（176x144）之下，能稳定的达到10 帧的速率，人物清晰，唇形同步活动图像及伴音之间的同步较好。
6 结束语
本文介绍了一种基于纯risc架构的嵌入式的终端平台，在该平台上遵从h.324协议，很好的实现了可视电话的功能，在qcif分辨率下，能稳定的达到10帧的速率，语音清晰，能达到视频通话的要求。系统平台构造简单，在该平台之上能很容易的进行相应的扩展智能化。
坐标机器人的特点_坐标机器人的应用
腾讯官方公布封测时间：游戏业务将登陆Android和iOS平台
卷积神经网络判读与分类视网膜眼底成像技术再获突破
长安欧诺的CX7,7座SUV配置强劲,不仅外观精美，售价也仅售6万
铝基板与FR-4 PCB线路板的区别
在RISC架构嵌入式平台上实现简单的无线可视电话设计
密集波分复用激光温度控制与MAX8521-Compact D
工业机器人的性能特征_工业机器人主要技术参数
使用Net2Vis为CNN创造可直接发布的可视化方案
人工智能技术推动出入口控制系统识别准确率
Acrel-2000E/B配电室综合监控系统的应用案例
水冷散热器的工作原理及散热效率影响因素的介绍
小米5X怎么样?新款小米5X和旧款小米5X谁更值得买?区别对比评测
华为OV抢占国内手机前三甲 成东莞转型升级样本
如何使用usb接口wifi模块的网络摄像头_模块应用
无线蓝牙耳机哪款好？主动降噪无线蓝牙耳机排行榜
高阶封装意味着复杂的布线简析
斯坦福推出首个透明锂电池
Xilinx公司Versal AI Core系列产品实现突破性的AI推断吞吐量和性能
上海联通5G率先入场打造智慧世博会
对于重亲情和友情的中国人来讲，可视电话是普通百姓盼望已久的通信方式。可视电话是集通信技术、计算机技术、音视频处理技术等为一体的产品，是信息技术发展的方向。目前可视电话从产品类型上分主要有两种：一种是基于pc机的可视电话；另一种是脱离pc的一体化可视电话；从信号传输线路上分主要有：基于isdn,adsl等的宽带可视电话和基于pstn的窄带可视电话。pstn在中国已经发展了几十年，是目前覆盖最广、最为经济、群众基础最为广泛的的通信网。因此在pstn网络上实现简易便于推广的可视电话仍然有很强的现实意义。
我国基于pstn可视电话的标准是依据itu-t h.324制定的。目前市面上所有的pstn可视电话基本采用mcu+专用asic芯片来实现h.324协议所要求的音视频编码以及协议控制，或者处理器+dsp架构的方案，系统构成复杂。本文提出一种新的基于risc架构嵌入式平台的可视电话，实现了系统构成简单的无线可视电话。该方案可开发出独立的可视电话终端，并可用于通信，监控等领域。
2.h.324协议简介
图-1 为h.324 协议的框图，图中框内为建议h.324 协议范围。建议内容主要包括h.263/h.261 视频编解码协议、g.723 音频编解码协议、v.14 数据协议、h.223 复用/解复协议、h.245 控制协议以及modem（控制协议）等，可参见参考文献[1].
图-1 h.324 协议框图
在pstn 网络上传输低码率的音视频信息必须进行压缩编码，在h.324 协议中，音视频编解码是核心内容之一h.263 是由itu 定义，支持用于视频会议和视频电话应用程序的视频编解码。h.263 基于h.261 编码发展而来，是特别面向低码率的视频编码而设定，能在最低带宽为 20k 到 24kbit/sec 上传输的视频流。g.723.1 是itu 组织针对电话带宽的语音信号推出的一种双速率语音编解码标准，最低能以5.3kbps 的速率传输音频流。
3. 基于arm处理器s3c2440a系统硬件平台构成
图-2 系统硬件架构
整体硬件架构图如图-2 所示。
（1） 系统的核心为基于risc 架构的arm 处理器s3c2440.该处理器韩国三星电子推出的一个16/32-bit risc 小型高性能微处理器。采用速度最高可达533mhz 的arm920t 内核， 可提供面向普通系统外设的各种功能，因此不需增加额外器件，在降低系统复杂度的同时，向终端用户提供camera 接口、tft 及stn 液晶显示器的功能及sd/mmc/sdio 卡插槽等附加设备。该处理器性能强大，能够满足h.263 编解码以及g.723.1 编解码的运算要求。可参见参考文献[9]。
（2） 系统的视频采集部分：采用30 万像素的cmos camera ov9650esl.该器件最高能采集1280*1024 的像素阵列，足够满足系统的需求。利用s3c2440a专有的camera 控制器对视频数据进行采集，并采用iic 总线对其进行配置曝光时间，白平衡等参数。
（3） 系统的显示部分：采用lg 的3.5 寸65k 色tft 液晶显示屏，该屏幕分辨率为320*240,满足系统需求。在本设计中，利用处理器的液晶数据接口对液晶屏幕的对其进行配置显示格式，并利用sdram 作为显示存储区域，利用s3c2440a 集成的lcd 控制器对液晶屏幕进行输出显示。
（4） 系统的音频输入输出部分：采用codec 芯片uda1341,该音频芯片内部集成adc 以及dac,通过接驳mic,speaker 来组成系统的音频的采集与播放功能。该芯片通过iis 总线与cpu 进行数据的传输，并可以通过l3-bus设置其采集速率，增益等。
（5） 与pstn 网络接口部分：为实现在pstn 网络上传输数据，遵从h.324 协议，采用conexant 的cx06833.该芯片通过uart 接口与cpu 相连接，并提供pstn 网络接口。可参见参考文献[10]
（6） 系统存储部分：内存采用型号为is42s32200 的sdram,芯片的容量大小为8mbyte,用于运行软件系统。程序存储采用sst39vf320x,该芯片为nor型flash 用于存储程序，容量大小为4mbyte.
（7） 附件：包括4*4 键盘，以及工作状态显示led 等。
4. 系统软件的实现
系统的流程见图-3。
图-3 系统软件流程
在硬件系统上电后，软件对硬件做初始化即进入待机状态。当摘机后，cpu 通过modem内置的模拟电话控制进行模拟通话。通话双方均按可视建，经过h.245 协议协商，开始建立可视。
系统通过cmos camera 采集视频，在sdram 中开辟一段内存用于视频内容的缓存，h.263 编码部分从该缓存中按照一定的帧率取出图像进行编码。cpu 控制codec 芯片通过mic 进行语音的采集，同样在sdram 中开辟用于存储音频的缓存，g.723.1 编码成码流。
h.223 将视频码流、音频码流及控制数据码流复用，通过modem 调制到pstn 网络上进行模拟线路的传输。
从 modem 获得的数据码流则解复成音频及视频码流。h.263 码流解码后，以固定的帧率刷新显存。arm 将显存中的数据通过内置的tft 控制器，传输到4 寸 320*240 的液晶显示屏上显示。g.723.1 码流通过g.723.1 解码器解码，输出到codec 芯片，通过功放推动扬声器播放。
4.1 系统硬件的初始化
在 s3c2440 中，内含名为stepping stone 的4k 的sram,可用做bootloader,用于系统的初始化。系统上电启动时，将flash 中的初始化程序段读入sram 中，初始化cpu 内部的时钟，sdram 控制器，看门狗，中断等。并初始化memory system,将flash 中的程序搬移到sdram 中，系统主程序运行在sram 中。进入主程序后，初始化gpio,液晶屏幕，camera,keyboard 等等外设。初始化完毕，系统进入待机，等待摘机。
4.2 h.263编解码模块
在risc架构的嵌入式系统中实现可视通话的关键之一是如何实现h.263编解码。h.263协议是很成熟的一个视频编码压缩协议，见图-4.在本文中对h.263协议不详述，仅介绍在基于arm处理器的系统中如何实现，具体可参见参考文献[2].
4.2.1 h.263编码
图-4 h.263 编码框图
在如图-4 所示，h.263 编码器主要由4 部分组成：变换编码t,量化q,预测p,熵编码vlc;对于实际应用的编码系统，码流控制cc 也必不可少的部分。图中有 2 个单刀双置开关，用于选择intra 和inter.判断当前帧的类型，判断之后分成intra 和inter的分支，分别进行处理。
在本系统中，h.263 编码器过程是：
在函数处理层在h.263 编码任务发出后，即调用处理函数video_encode 进行编码，从内存中读出一帧图像，判断当前帧的类型。如图-5 所示。
图-5 h.263 编码软件流程
1）intra 帧情况。此时开关拨到上面的开关。视频帧分块后的当前块（目前处理的视频块）输入经过变换编码，量化后进行熵编码作为码流输出；量化结果再经过反量化和反变换作为参考帧储存。最后调用重构图像进行去块效应滤波。
函数 codeoneintra（）对当前帧按照i 帧进行编码，该函数输入为：
h263encode_memory * mems 编码信息结构体指针。
h.263encode_memory{
重建帧结构指针，参考帧结构指针，重建宏块结构指针， 参考宏块结构指针，解码图像参数结构指针，解码后系数，宏块参数结构指针，解码过程结构指针}
2）inter 帧情况。此时开关拨到下面的开关。视频帧分块后的当前块首先在参考帧搜索区域中进行运动估计得到预测块（参考帧中与当前块最相近的块），同时得到运动矢量， 运动矢量熵编码作为码流输出。 预测块与当前块相减得到差值图像，对差值图像进行变换编码，量化后进行熵编码作为码流输出。
4.2.1 h.263解码
下图6是h.263 解码器系统框图：
图-6 h.263 解码器框图
如图-6 所示，h.263 解码器与编码器对应，也有4 个主要部分：反熵编码，反量化（scale），反dct（idct），运动估计motion estimation.图2 简单示意了inter 帧解码的过程，即idct 之后的结果都与运动估计结果相加，但在intra 帧时候，不需要与运动估计预测结果相加。可以看出， 解码器相对于编码器， 流程比较简单。
h.263 解码过程是：
1）intra 帧情况，对码流中帧内系数码流进行反熵编码，反量化，idct 即完成视频帧的解码，得到视频数据输出；2）inter 帧情况，对差值进行反熵编码，反量化，idct,得到的结果与运动估计预测块相加，完成运动补偿，随后得到视频数据输出；4.3 g.723.1编解码。
本系统的另一个关键是在嵌入式架构上实现g.723.1 的编解码。该标准能够对输入的模拟语音信号用8khz 采样，16bit 线性pcm 量化的语音信号压缩成6.3kbps 或5.3kbps 的比特流。g. 723. 1 的两种码率根据不同需求可供选择，高码率为6. 3kb/s, 采用多脉冲最大似然量化（mp-mlq）编码算法，具有较高的重建语音质量； 低码率为5. 3kb/s,以acelp 算法为基础， 计算复杂度则较低。本系统中采用acelp 算法的低码率语音压缩。限于篇幅，本文在此不详述，可参阅参考文献[6]与[8].
4.4 h.245协议的实现
h.245协议的全称是多媒体通信控制协议，他给出了一组用于描述终端信息，带宽协商等食物消息的语法和语义，主要提供端到端的信令功能，以便通信双方能正确的互联。h.245的信令控制h.324系统的操作，包括能力交换，逻辑通道的打开和关闭，模式优先请求，复用表项传输，流量控制消息，通用命令和指示。可参见参考文献[4].
在系统实现的时候，利用srp简单重传协议提供可靠的h.245码流的传输，采用一个发送标记，当发送一个命令帧后，激活该标记，此时后续的命令帧都不进行发送，当收到相应帧后，清除该标记，发送下一个命令帧。期间若有超时没有收到响应帧，则重发当前帧；若重发多次仍没有收到响应帧，则终止通信，并报知应用程序通信错误。整个过程由arm来进行控制。
4.5 h.223协议的实现
h.223 协议是低位率多媒体通信复用协议。分为复用层（mux）和适配层（al），al负责将从用户层和io 层获取的不同数据流转换。al 分为al1、al2、al3 一共三层，分别进行数据和控制码流、音频码流、视频码流的传输。mux 将al 的码流按照复用表进行码流复用。该协议由arm 来完成。具体可参见参考文献[5]
5 系统实现结果
该系统在建立稳定的模拟通话之后，通信双方按下可视键，建立连接。可以选择通话的视频的质量，视频在qcif（176x144）之下，能稳定的达到10 帧的速率，人物清晰，唇形同步活动图像及伴音之间的同步较好。
6 结束语
本文介绍了一种基于纯risc架构的嵌入式的终端平台，在该平台上遵从h.324协议，很好的实现了可视电话的功能，在qcif分辨率下，能稳定的达到10帧的速率，语音清晰，能达到视频通话的要求。系统平台构造简单，在该平台之上能很容易的进行相应的扩展智能化。
坐标机器人的特点_坐标机器人的应用
腾讯官方公布封测时间：游戏业务将登陆Android和iOS平台
卷积神经网络判读与分类视网膜眼底成像技术再获突破
长安欧诺的CX7,7座SUV配置强劲,不仅外观精美，售价也仅售6万
铝基板与FR-4 PCB线路板的区别
在RISC架构嵌入式平台上实现简单的无线可视电话设计
密集波分复用激光温度控制与MAX8521-Compact D
工业机器人的性能特征_工业机器人主要技术参数
使用Net2Vis为CNN创造可直接发布的可视化方案
人工智能技术推动出入口控制系统识别准确率
Acrel-2000E/B配电室综合监控系统的应用案例
水冷散热器的工作原理及散热效率影响因素的介绍
小米5X怎么样?新款小米5X和旧款小米5X谁更值得买?区别对比评测
华为OV抢占国内手机前三甲 成东莞转型升级样本
如何使用usb接口wifi模块的网络摄像头_模块应用
无线蓝牙耳机哪款好？主动降噪无线蓝牙耳机排行榜
高阶封装意味着复杂的布线简析
斯坦福推出首个透明锂电池
Xilinx公司Versal AI Core系列产品实现突破性的AI推断吞吐量和性能
上海联通5G率先入场打造智慧世博会