关于音频编解码器EVS及用好要做的准备工作详解
语音通信从最初的只有有线通信变成后来的有线通信与无线通信（移动通信）的竞争，当移动语音通信价格下来后有线语音通信明显处于逆势。如今移动语音通信的竞争对手是ott（on the top）语音，ott语音是互联网厂商提供的服务，一般免费，如微信语音。目前语音通信技术上就分成了两大阵营：传统通信阵营和互联网阵营，互相竞争，推动着语音通信技术的发展。具体到编解码器上互联网阵营提出了涵盖语音和音乐的音频编解码器opus（opus是由非盈利的xiph.org 基金会、skype 和mozilla 等共同主导开发的，全频段（8khz到48khz），支持语音和音乐（语音用silk， 音乐用celt），已被ietf接纳成为网络上的声音编解码标准（rfc6716）），绝大多数ott语音的app都支持，有一统互联网阵营的趋势。移动通信标准组织3gpp为了应对互联网阵营的竞争，也提出了涵盖语音和音乐的音频编解码器evs（enhanced voice service）。我曾经给我做的手机平台上成功的加上了evs，并且通过了中国移动的实网环境下的测试。下面就讲讲这个codec以及用好要做的工作。
3gpp在2014年9月将evs编解码器标准化，由3gpp r12版本定义，主要适用于volte， 但也同时适用于vowifi和固定网络电话voip。evs编解码器由运营商、终端设备、基础设施和芯片提供商以及语音与音频编码方面的专家联合开发，其中包括爱立信、fraunhofer集成电路研究所、华为技术有限公司、诺基亚公司、日本电信电话公司（ntt）、日本ntt docomo公司、法国电信（orange）、日本松下公司、高通公司、三星电子公司、voiceage公司及中兴通讯股份有限公司等。它是3gpp迄今为止性能和质量最好的语音频编码器，它是全频段（8khz到48khz），可以在5.9kbps至128kbps的码率范围内工作，不仅对于语音和音乐信号都能够提供非常高的音频质量，而且还具有很强的抗丢帧和抗延时抖动的能力，可以为用户带来全新的体验。
下图是3gpp evs相关的spec，从ts26.441到ts26.451。
我已将关键的几个用红框标出，其中ts26.441是总览，ts26.442是用c语言写的定点实现（reference code），这也是后面用好evs工作中的重中之重。ts26.444是测试序列，优化reference code过程中几乎每天都要保存一个优化的版本，每天都要用测试序列跑一跑优化的版本，如发现不一样了，说明优化的有问题，要退到上一个版本，并检查出哪一步优化出问题了。ts26.445是evs算法的具体描述，近700页，说实话看的头疼，如果不是做算法的，算法部分看个大概就可以了，但是对特性描述相关的一定要细看。
evs对语音信号和音乐信号采用不同的编码器。语音编码器是改进型代数码激励线性预测（acelp），还采用了适合不同语音类别的线性预测模式。对于音乐信号编码，则采用频域（mdct）编码方式， 并特别关注低延迟/低比特率情况下的频域编码效率，从而在语音处理器和音频处理器之间实现无缝可靠的切换。下图是evs编解码器的框图：
编码时先对输入的pcm信号做预处理，同时确定是语音信号还是音频信号。如是语音信号就用语音编码器编码得到比特流，如是音频信号就用感知编码器进行编码得到比特流。解码时根据比特流中的信息确定是语音信号还是音频信号，如是语音信号就用语音解码器解码得到pcm数据，然后做语音带宽扩展。如是音频信号就用感知解码器解码得到pcm数据，然后做频率带宽扩展。最后再做后处理作为evs解码器的输出。
下面说说evs的各个关键特性。
1，evs支持全频段（8khz--48khz），码率范围是5.9kbps至128kbps。每帧是20ms时长。下图是音频带宽的分布：
窄带（narrow band， nb）范围是300hz-3400hz，对应的采样率是8khz，amr-nb用的就是这种采样率。宽带（wide band， wb）范围是50hz-7000hz，对应的采样率是16khz，amr-wb用的就是这种采样率。超宽带（super wide band， swb）范围是20hz-14000hz，对应的采样率是32khz。全带（full band， fb）范围是20hz-2000hz，对应的采样率是48khz。evs支持全频段，所以它支持四种采样率：8khz、16khz、32khz和48khz。
下图是在各种采样率下支持的码率：
从上图看出只有在wb下支持全码率，其他采样率下只支持部分码率。需要注意的是evs向前兼容amr-wb，所以它也支持amr-wb的所有码率。
2，evs支持dtx/vad/cng/sid，这同amr-wb一样。在通话过程中通常有一半左右时间讲话，其余时间处于聆听状态。在聆听状态时没必要发语音包给对方，于是就有了dtx（非连续传输）。要用vad（静音检测）算法去判断是语音还是静音，是语音包时就发语音包，是静音时就发静音包（sid包）。对方收到sid包后就去用cng（舒适噪声生成）算法去生成舒适噪声。evs中有两种cng算法：基于线性预测的cng（linear prediction-domain based cng）和基于频域的cng（frequency-domain based cng）。在sid包的发送机制上evs跟amr-wb不同，在amr-wb中vad检测到是静音时就发送一个sid包，然后40ms后发送第二个sid包，随后每隔160ms发送一个sid包，不过vad一检测到是语音就立刻发送语音包。evs中sid包的发送机制可配，可以固定每隔一段时间（几帧，范围是3--100）发送一个sid包，也可以根据snr自适应的发送sid包，发送周期范围是8—50帧。evs sid包的payload大小也与amr-wb不同，amr-wb的是40个字节（50*40=2000bps），evs是48个字节（50*48=2400bps）。从上可以看出dtx有两个好处，一是可以节省带宽，增加容量，二是因为不编解码减少了运算量，从而降低功耗增加续航时长。
3，evs也支持plc（丢包补偿），这也同amr-wb一样。不过evs把jitter buffer module（jbm）也包含了进来，这在以前的codec中是从来没有过的。我在使用中没有用到jbm，由于时间比较紧，也就没有时间去研究。后面有时间了定要好好研究一下，jb可是语音通信的难点之一同时也是语音质量的瓶颈之一呀。
evs的算法时延根据采样率不同而不同。当采样率为wb/swb/fb时总时延为32ms，包括一帧20ms的时延，编码侧输入重采样的0.9375ms时延以及8.75ms的前向时延，解码侧时域带宽扩展的2.3125ms时延。当采样率为nb时总时延减小为30.9375ms，相对wb/swb/fb减小了1.0625ms， 这1.0625ms主要是在解码侧减少的。
evs的语音质量（mos值）相对于amr-nb/amr-wb有了明显的提升。下图是这几种codec的mos值比较：
从上图看出，当采样率为nb时在各种码率下evs-nb的mos值比amr-nb的mos值显著提升；当采样率为wb时在各种码率下evs-wb的mos值同样比amr-wb的mos值显著提升；当采样率为swb并且码率大于15kbps时evs-swb的mos值接近了不编码的pcm的mos值。可见evs的语音质量是相当不错的。
用好evs要做的工作在不同的平台上会有所不同，我是用在手机平台audio dsp上，用于语音通信。下面就说说为了手机支持evs我做了哪些工作。
1，学习evs相关的spec。要把前面我列的spec都看一遍，因为不是做算法，算法相关的可以看的粗，但是对特性描述相关的一定要看的细，这关系到后面的使用。
2，在pc上生成encoder/decoder的应用程序。我是在ubuntu上做的，把pcm文件作为encoder的输入，根据不同的配置生成相应的码流文件，再把码流文件作为decoder的输入，解码还原成pcm文件。如果解码后的pcm文件听下来跟原始pcm文件无异样，说明算法实现是可信的（权威组织出来的算法实现都是可信的，如果有异样说明应用程序没做好）。做应用程序是为了后面的优化，也方便理解外围实现，如怎么把编码后的值变成码流。编码后的值放在indices（最多有1953个indices）中， 每个indices有两个成员变量，一个是nb_bits，表示这个indices有多少位，另一个是value，表示这个indices的值。indices有两种存储方式：g192（itu-t g.192）和mime（multipurpose internet mail extensions）。先看g192，每一帧的g192的存储格式见下图：
第一个word是同步值，分good frame（值为0x6b21）和bad frame（值为0x6b20）两种，第二个word是长度，后面是每个值（1用0x0081表示， 0用0x007f表示）。indices里的value用二进制表示，位上的值为1就存为0x0081，为0 就存为0x007f。下图是一个例子，采样率为16000hz， 码率为8000bps，因此一帧有160位（160 = 8000/50），保存成g192格式就是160个word。下图中头是0x6b21， 表示good frame，length是0x00a0， 后面160个word是内容。
再来看mime格式。要把indices的value值pack成serial值，具体怎么pack，见pack_bit（）函数。mime的格式是第一个word是header（低4位表示码率index， 在用wb_io时第5和6位要置1，evs 时不需要），后面是比特流。还是上面采样率为16000hz码率为8000bps的例子，但存成mime格式，一帧有160位，需要20byte（20 = 160/8），如下图：
上图中头16个字节是reference code自带的，第17个字节是header，0x2表示以evs 编码，码率是8kbps（8kbps index为2），后面的20个字节表示pack后的payload。
在语音通信中，要把indices的value值pack成serial值，然后作为payload发送给对方。对方收到后先unpack再解码得到pcm值。
3，原始reference code通常是不能直接使用的，需要优化。至于怎么优化，请看我前面写过的一篇文章（音频的编解码及其优化方法和经验），文章写的是比较通用的方法。我现在要在dsp上用，dsp的频率较低，只有三百多mhz，不用汇编优化时搞不定的。我之前没用过dsp汇编，要在短时间内优化的很好有很大难度。老板权衡后决定用dsp ip厂商提供的优化好的库，汇编方面它们更专业一点。
4，对reference code的应用程序改造，方便后面调试验证时当工具使用。原始reference code保存成文件时是以字节为单位的，而dsp是以word（两个字节）为单位，所以要对reference code里的pack/unpack函数改造，以适应dsp。
5，要想打电话时codec是evs，audio dsp 和cp上都要加相应的代码，先写各自的代码自调，然后联调。我自调时用amr-wb的壳（因为evs和amr-wb的一帧都是20ms时长），即流程上用amr-wb的，但codec从amr-wb换成evs。主要验证encoder、pack、unpack、decoder是否ok，其中encoder和pack是上行的，unpack和decoder是下行的。它们的先后关系如下图：
先调上行，把encode后的保存成g192格式，用decoder工具解码成pcm数据用cooledit听，跟自己说的话是一样的，说明encoder是ok的。再调pack，把pack后的码流保存成mime格式，同样用decoder工具解码成pcm数据用cooledit听，跟自己说的话是一样的，说明pack是ok的。再调下行。由于cp还没有正确的evs码流发给audio dsp，就用loopback的方式来调试，具体是把pack后的码流作为unpack的输入，unpack后得到的保存成g192格式，用decoder工具解码成pcm数据用cooledit听，跟自己说的话是一样的，说明unapck是ok的。最后调decoder，把decoder后的pcm数据用cooledit听，跟自己说的话是一样的，说明decoder是ok的。这样自调就结束了。
6，与cp联调。由于前面自调时各关键模块都是调好的，联调起来相对比较顺利，没几天就调好了。这样打电话时就能享受evs带来的高音质了。
IGBT/FRD/MOSFET功率器件模块材料介绍
X-CUBE-AI v7.1.0的三大更新内容
施耐德电气对于智能家居有一些新的思考和战略实践
应用于光源驱动电路的光纤传感器
触摸控制器IC市场发展巨大 五年将增长两倍
关于音频编解码器EVS及用好要做的准备工作详解
小米9 Pro 5G版将于9月24日推出支持三种充电模式
AMD收购Xilinx的意义是什么?
涂鸦智能AI+IPC一站式开源解决方案，助力行业发展
多款新品发布 华为加速运动健康布局
赛格威机器人助力智慧创新大赛，未来智能商业服务雏形
走秀网CEO被抓！走秀网CEO纪文泓走私潜逃一年被抓，官宣业务一切正常？电商黑马搞事情？
VIVA（昱盛电子）VA2239 50W Filterless Class D Audio Amplifier
官宣:小米11全球首发高通骁龙888处理器
2023智慧零售融合创新研讨会成功举办！
工业富联2022年上半年首次突破2252.6亿元
提高转换效率的利器，三家国际大厂LLC控制器各有千秋
Ether CAT分布式IO如何与TwinCAT 3通讯
如何让测量仪器拥有抗干扰性
5G时代将会真正的实现全场景智慧化体验
3gpp在2014年9月将evs编解码器标准化，由3gpp r12版本定义，主要适用于volte， 但也同时适用于vowifi和固定网络电话voip。evs编解码器由运营商、终端设备、基础设施和芯片提供商以及语音与音频编码方面的专家联合开发，其中包括爱立信、fraunhofer集成电路研究所、华为技术有限公司、诺基亚公司、日本电信电话公司（ntt）、日本ntt docomo公司、法国电信（orange）、日本松下公司、高通公司、三星电子公司、voiceage公司及中兴通讯股份有限公司等。它是3gpp迄今为止性能和质量最好的语音频编码器，它是全频段（8khz到48khz），可以在5.9kbps至128kbps的码率范围内工作，不仅对于语音和音乐信号都能够提供非常高的音频质量，而且还具有很强的抗丢帧和抗延时抖动的能力，可以为用户带来全新的体验。
下图是3gpp evs相关的spec，从ts26.441到ts26.451。
我已将关键的几个用红框标出，其中ts26.441是总览，ts26.442是用c语言写的定点实现（reference code），这也是后面用好evs工作中的重中之重。ts26.444是测试序列，优化reference code过程中几乎每天都要保存一个优化的版本，每天都要用测试序列跑一跑优化的版本，如发现不一样了，说明优化的有问题，要退到上一个版本，并检查出哪一步优化出问题了。ts26.445是evs算法的具体描述，近700页，说实话看的头疼，如果不是做算法的，算法部分看个大概就可以了，但是对特性描述相关的一定要细看。
evs对语音信号和音乐信号采用不同的编码器。语音编码器是改进型代数码激励线性预测（acelp），还采用了适合不同语音类别的线性预测模式。对于音乐信号编码，则采用频域（mdct）编码方式， 并特别关注低延迟/低比特率情况下的频域编码效率，从而在语音处理器和音频处理器之间实现无缝可靠的切换。下图是evs编解码器的框图：
编码时先对输入的pcm信号做预处理，同时确定是语音信号还是音频信号。如是语音信号就用语音编码器编码得到比特流，如是音频信号就用感知编码器进行编码得到比特流。解码时根据比特流中的信息确定是语音信号还是音频信号，如是语音信号就用语音解码器解码得到pcm数据，然后做语音带宽扩展。如是音频信号就用感知解码器解码得到pcm数据，然后做频率带宽扩展。最后再做后处理作为evs解码器的输出。
下面说说evs的各个关键特性。
1，evs支持全频段（8khz--48khz），码率范围是5.9kbps至128kbps。每帧是20ms时长。下图是音频带宽的分布：
窄带（narrow band， nb）范围是300hz-3400hz，对应的采样率是8khz，amr-nb用的就是这种采样率。宽带（wide band， wb）范围是50hz-7000hz，对应的采样率是16khz，amr-wb用的就是这种采样率。超宽带（super wide band， swb）范围是20hz-14000hz，对应的采样率是32khz。全带（full band， fb）范围是20hz-2000hz，对应的采样率是48khz。evs支持全频段，所以它支持四种采样率：8khz、16khz、32khz和48khz。
下图是在各种采样率下支持的码率：
从上图看出只有在wb下支持全码率，其他采样率下只支持部分码率。需要注意的是evs向前兼容amr-wb，所以它也支持amr-wb的所有码率。
2，evs支持dtx/vad/cng/sid，这同amr-wb一样。在通话过程中通常有一半左右时间讲话，其余时间处于聆听状态。在聆听状态时没必要发语音包给对方，于是就有了dtx（非连续传输）。要用vad（静音检测）算法去判断是语音还是静音，是语音包时就发语音包，是静音时就发静音包（sid包）。对方收到sid包后就去用cng（舒适噪声生成）算法去生成舒适噪声。evs中有两种cng算法：基于线性预测的cng（linear prediction-domain based cng）和基于频域的cng（frequency-domain based cng）。在sid包的发送机制上evs跟amr-wb不同，在amr-wb中vad检测到是静音时就发送一个sid包，然后40ms后发送第二个sid包，随后每隔160ms发送一个sid包，不过vad一检测到是语音就立刻发送语音包。evs中sid包的发送机制可配，可以固定每隔一段时间（几帧，范围是3--100）发送一个sid包，也可以根据snr自适应的发送sid包，发送周期范围是8—50帧。evs sid包的payload大小也与amr-wb不同，amr-wb的是40个字节（50*40=2000bps），evs是48个字节（50*48=2400bps）。从上可以看出dtx有两个好处，一是可以节省带宽，增加容量，二是因为不编解码减少了运算量，从而降低功耗增加续航时长。
3，evs也支持plc（丢包补偿），这也同amr-wb一样。不过evs把jitter buffer module（jbm）也包含了进来，这在以前的codec中是从来没有过的。我在使用中没有用到jbm，由于时间比较紧，也就没有时间去研究。后面有时间了定要好好研究一下，jb可是语音通信的难点之一同时也是语音质量的瓶颈之一呀。
evs的算法时延根据采样率不同而不同。当采样率为wb/swb/fb时总时延为32ms，包括一帧20ms的时延，编码侧输入重采样的0.9375ms时延以及8.75ms的前向时延，解码侧时域带宽扩展的2.3125ms时延。当采样率为nb时总时延减小为30.9375ms，相对wb/swb/fb减小了1.0625ms， 这1.0625ms主要是在解码侧减少的。
evs的语音质量（mos值）相对于amr-nb/amr-wb有了明显的提升。下图是这几种codec的mos值比较：
从上图看出，当采样率为nb时在各种码率下evs-nb的mos值比amr-nb的mos值显著提升；当采样率为wb时在各种码率下evs-wb的mos值同样比amr-wb的mos值显著提升；当采样率为swb并且码率大于15kbps时evs-swb的mos值接近了不编码的pcm的mos值。可见evs的语音质量是相当不错的。
用好evs要做的工作在不同的平台上会有所不同，我是用在手机平台audio dsp上，用于语音通信。下面就说说为了手机支持evs我做了哪些工作。
1，学习evs相关的spec。要把前面我列的spec都看一遍，因为不是做算法，算法相关的可以看的粗，但是对特性描述相关的一定要看的细，这关系到后面的使用。
2，在pc上生成encoder/decoder的应用程序。我是在ubuntu上做的，把pcm文件作为encoder的输入，根据不同的配置生成相应的码流文件，再把码流文件作为decoder的输入，解码还原成pcm文件。如果解码后的pcm文件听下来跟原始pcm文件无异样，说明算法实现是可信的（权威组织出来的算法实现都是可信的，如果有异样说明应用程序没做好）。做应用程序是为了后面的优化，也方便理解外围实现，如怎么把编码后的值变成码流。编码后的值放在indices（最多有1953个indices）中， 每个indices有两个成员变量，一个是nb_bits，表示这个indices有多少位，另一个是value，表示这个indices的值。indices有两种存储方式：g192（itu-t g.192）和mime（multipurpose internet mail extensions）。先看g192，每一帧的g192的存储格式见下图：
第一个word是同步值，分good frame（值为0x6b21）和bad frame（值为0x6b20）两种，第二个word是长度，后面是每个值（1用0x0081表示， 0用0x007f表示）。indices里的value用二进制表示，位上的值为1就存为0x0081，为0 就存为0x007f。下图是一个例子，采样率为16000hz， 码率为8000bps，因此一帧有160位（160 = 8000/50），保存成g192格式就是160个word。下图中头是0x6b21， 表示good frame，length是0x00a0， 后面160个word是内容。
再来看mime格式。要把indices的value值pack成serial值，具体怎么pack，见pack_bit（）函数。mime的格式是第一个word是header（低4位表示码率index， 在用wb_io时第5和6位要置1，evs 时不需要），后面是比特流。还是上面采样率为16000hz码率为8000bps的例子，但存成mime格式，一帧有160位，需要20byte（20 = 160/8），如下图：
上图中头16个字节是reference code自带的，第17个字节是header，0x2表示以evs 编码，码率是8kbps（8kbps index为2），后面的20个字节表示pack后的payload。
在语音通信中，要把indices的value值pack成serial值，然后作为payload发送给对方。对方收到后先unpack再解码得到pcm值。
3，原始reference code通常是不能直接使用的，需要优化。至于怎么优化，请看我前面写过的一篇文章（音频的编解码及其优化方法和经验），文章写的是比较通用的方法。我现在要在dsp上用，dsp的频率较低，只有三百多mhz，不用汇编优化时搞不定的。我之前没用过dsp汇编，要在短时间内优化的很好有很大难度。老板权衡后决定用dsp ip厂商提供的优化好的库，汇编方面它们更专业一点。
4，对reference code的应用程序改造，方便后面调试验证时当工具使用。原始reference code保存成文件时是以字节为单位的，而dsp是以word（两个字节）为单位，所以要对reference code里的pack/unpack函数改造，以适应dsp。
5，要想打电话时codec是evs，audio dsp 和cp上都要加相应的代码，先写各自的代码自调，然后联调。我自调时用amr-wb的壳（因为evs和amr-wb的一帧都是20ms时长），即流程上用amr-wb的，但codec从amr-wb换成evs。主要验证encoder、pack、unpack、decoder是否ok，其中encoder和pack是上行的，unpack和decoder是下行的。它们的先后关系如下图：
先调上行，把encode后的保存成g192格式，用decoder工具解码成pcm数据用cooledit听，跟自己说的话是一样的，说明encoder是ok的。再调pack，把pack后的码流保存成mime格式，同样用decoder工具解码成pcm数据用cooledit听，跟自己说的话是一样的，说明pack是ok的。再调下行。由于cp还没有正确的evs码流发给audio dsp，就用loopback的方式来调试，具体是把pack后的码流作为unpack的输入，unpack后得到的保存成g192格式，用decoder工具解码成pcm数据用cooledit听，跟自己说的话是一样的，说明unapck是ok的。最后调decoder，把decoder后的pcm数据用cooledit听，跟自己说的话是一样的，说明decoder是ok的。这样自调就结束了。
6，与cp联调。由于前面自调时各关键模块都是调好的，联调起来相对比较顺利，没几天就调好了。这样打电话时就能享受evs带来的高音质了。
IGBT/FRD/MOSFET功率器件模块材料介绍
X-CUBE-AI v7.1.0的三大更新内容
施耐德电气对于智能家居有一些新的思考和战略实践
应用于光源驱动电路的光纤传感器
触摸控制器IC市场发展巨大 五年将增长两倍
关于音频编解码器EVS及用好要做的准备工作详解
小米9 Pro 5G版将于9月24日推出支持三种充电模式
AMD收购Xilinx的意义是什么?
涂鸦智能AI+IPC一站式开源解决方案，助力行业发展
多款新品发布 华为加速运动健康布局
赛格威机器人助力智慧创新大赛，未来智能商业服务雏形
走秀网CEO被抓！走秀网CEO纪文泓走私潜逃一年被抓，官宣业务一切正常？电商黑马搞事情？
VIVA（昱盛电子）VA2239 50W Filterless Class D Audio Amplifier
官宣:小米11全球首发高通骁龙888处理器
2023智慧零售融合创新研讨会成功举办！
工业富联2022年上半年首次突破2252.6亿元
提高转换效率的利器，三家国际大厂LLC控制器各有千秋
Ether CAT分布式IO如何与TwinCAT 3通讯
如何让测量仪器拥有抗干扰性
5G时代将会真正的实现全场景智慧化体验