声音的新科技 | 拆解紫光展锐5G芯T820的音频技术
紫光展锐新一代系统级安全的高性能5g移动平台t820，采用八核cpu架构，6nm euv先进工艺，金融级全内置安全方案，在性能、功耗与5g通信体验等方面，较上一代产品更为出色。
此前，已经为大家讲解过t820的拍照、ai、安全性能（文末查看往期t820相关文章）。今天，小展将带你一同探索t820的音频性能。
声音是人类感知与交互的重要组成部分，音频应用早已覆盖了人们生活的方方面面，紫光展锐t820从用户角度出发，在语音通话、语音交互、音频播放与录制等维度进行技术创新，带来了全面的体验升级！
自研通话ai降噪，让彼此交流“更清晰”
从手机通话到直播、游戏和音视频会议，用户通话的需求越来越多，场景变的越来越复杂，对更清晰的语音诉求越来越强烈。复杂的使用场景对通话降噪算法提出了更大的挑战，传统的通话降噪算法在一些复杂噪声场景下，如鸣笛和风噪，很容易出现语音失真严重和降噪量不足的问题。如何让用户在各种复杂场景下，仍然能够不受周围环境噪声的干扰，听到“更清晰”的语音，成为用户最为紧迫的诉求。ai技术是解决这一诉求的不二之选，不过ai降噪面临以下技术难点：
智能终端设备的内存和算力非常有限，大规模的网络模型难以部署；
噪声场景和种类复杂多变，需要网络具有极高的泛化能力。
通过运用重要性剪枝、基于听觉特性的特征裁剪和损失融合技术，紫光展锐ai降噪技术成功解决了以上难点。目前ai降噪已应用在t820 5g芯片上，支持蜂窝通信、直播、游戏、音视频会议等各种通话应用场景。t820能够在平稳、非平稳等各种噪声场景下实现优异的噪声抑制效果，获取更加清晰的语音。图1为平稳噪声场景处理前后的语音频谱对比图。图2为非平稳噪声场景处理前后的语音频谱对比图。可以看出，无论在何种场景下，紫光展锐ai降噪技术，均能在保证噪声抑制干净的前提下，做到非常完整的语音保留，从而为用户提供 “更清晰”的交流空间。
图1.平稳噪声场景ai降噪处理前后的语音频谱对比图
图2.非平稳噪声场景ai降噪处理前后的语音频谱对比图
视听一体化录制技术，让生活记录“更真实”
随着vlog等生活方式的流行，人人都可以用智能手机来记录生活，这也对录制技术有了更高的要求。手机音频录制功能也得到越来越多的关注，近年来该功能常作为产品主推的技术亮点之一。视频录制的效果很大程度得益于真实、清晰的音频录制，现在的智能手机拍摄画面的质量越来越高，能拍得更远更清晰。但在许多场景下，想要录制清晰的声音并不简单。当没有与高质量画面匹配的高质量音频时，再好的视频内容也总是不完美的。
图3.视听一体化录制技术示意图
紫光展锐视听一体化录制技术，在录制视频时凸显画面中的目标声音，针对性衰减目标之外的干扰，同时结合视频画面信息对录音进行控制，增加音频与画面的匹配度。
图4.非目标方向干扰抑制性能展示
当前市场上，大部分厂商具备类似差异化功能产品均采用三麦方案，而大部分智能手机均采用双麦方案。紫光展锐视听一体化录制技术支持双麦阵列方案，在保证性能情况下，极大地减小了技术的应用成本。在保证目标声音无失真、底噪无明显放大的情况下，最大可放大目标声音12db以上，最大噪声抑制量可达到6db左右。如图4，除目标方向90°无衰减外，其余方向均有相应干扰抑制。在突显目标声音能力和噪声抑制能力两项关键性能上，均能达到市场上竞品三麦方案水平，甚至优于部分厂商三麦方案。
紫光展锐视听一体化录制技术将以优秀的性能，助力各种视频录制场景，给用户带来“更真实”的音视频录制体验。
智能功放解决方案，让音频播放 “更动听”
在播放音视频和游戏娱乐等场景中，手机扬声器发出的声音是否动听极大影响用户的使用体验。但随着手机越来越轻薄，能够给到扬声器的空间极为有限，使得扬声器更容易受到振幅、温度的影响。如果扬声器的振膜位移或音圈温度超过安全大小均会导致永久损坏。在保护扬声器安全的前提下，使扬声器播放出音质更好、音量更大的声音，是业界技术发展的共同目标。
紫光展锐的智能功放isc（intelligent speaker control）技术，能够建立准确的扬声器模型，通过控制电压来控制振膜和温度，使扬声器物尽其用，发挥出最大的性能潜力。目前isc技术支持前馈及反馈两种方案，满足不同客户的需求。前馈方案无需增加硬件，以较低成本获得最优性能，使智能功放成为普惠技术。而反馈方案增加了电压电流（i/v）的监测通路，能够实时获得扬声器的工作状态，发挥每个单体扬声器的性能可以获得比前馈方案更优的性能。
图5.智能功放isc
图6为录制得到的扬声器播放的声音信号，可以看到，与无isc算法处理相比，isc算法处理后声音大小显著提高，声压级提升5~8db,低频提升6-10db。
图6.isc处理效果--声压
除核心的扬声器控制及保护技术外，isc技术还支持包括音量增强、频响精细调整、动态范围控制、低音增强等功能。频响精细调整功能能够根据客户的需求，得到更均衡的频响。低音增强技术利用心理声学虚拟音调原理，生成低频的谐波即“虚拟低音”，改善小型扬声器低频音质，使用户感知到更具冲击力的低频效果。
紫光展锐的智能功放isc（intelligent speaker control）技术能够发挥扬声器的性能，用户无论在听音乐还是打游戏时，均能听到更悦耳的声音，获取更佳的听音体验。
专用低功耗语音唤醒ic，让终端交互“更智能”
语音助手如今已是智能终端的标配，语音唤醒作为语音交互的门户，从某种程度上来说，其综合性能的好坏，决定了用户使用语音助手的意愿，同时也成为了终端实现智能化的瓶颈。
语音唤醒主要面临以下技术难点：
24小时不间断运行（always on），要求具有极致的低功耗；
严苛的高唤醒率、低误唤醒率要求，确保使用语音助手的用户体验；
较低的计算和内存开销，要求满足实时性和低成本。
传统的语音唤醒方案，通过集成智能麦克风或专用的语音唤醒芯片来解决低功耗问题。但这种多芯片堆叠的方式无疑大幅增加了产品成本，影响了特性在中低端市场的下沉。展锐5g芯片t820集成了专用低功耗语音唤醒ic，仅需要一颗芯片，就能支持完整的唤醒功能，不仅有效解决了性能和功耗之间的矛盾，还降低了下游厂商的方案成本，加速了产品“智能化”的普及。
图7.t820语音唤醒方案
除以上专用ic之外，展锐在算法层面还提供从轻量级到常规级的唤醒与识别算法，形成一整套完整的软硬件一体化解决方案，算法、芯片定制化技术，让资源开销更为合理，综合性能实现安静环境95%、嘈杂环境90%以上的唤醒率，同时误唤醒率小于1次/24小时，为终端语音交互智能化体验保驾护航。
紫光展锐将持续打造业界领先的软硬件一体化音频技术，为消费者带来极致的影音体验！
end
✦
往期推荐
1. 紫光展锐发布系统级安全的高性能5g soc移动平台t820
2. 紫光展锐5g芯片t820，给你满满的安全感！
3. 紫光展锐5g芯片t820—ai释放大能量
4. 紫光展锐t820，拍照质量和性能双提升
原文标题：声音的新科技 | 拆解紫光展锐5g芯t820的音频技术
文章出处：【微信公众号：紫光展锐unisoc】欢迎添加关注！文章转载请注明出处。
动力电池测试的目的和方法
马斯克：Neuralink计划为四肢瘫痪或截瘫的病人进行植入试验
光模块测试，你选对电源了吗？
海谱纳米光学完成A轮融资 领跑全球高光谱成像行业
办公楼路灯景观车库智能照明控制系统RS485解决方案
声音的新科技 | 拆解紫光展锐5G芯T820的音频技术
英特尔推新型封装材料，满足大模型时代应用
什么是s参数?s参数的含义?s参数定义解析
digilent E1 asterisk 数字卡介绍
电销机器人来了，人工电销的好帮手
电机驱动器输出滤波器的应用有哪些？
内部消息，苹果A11已经量产！至于iPhone8产量就不用担心了
光耦继电器的工作原理和优点
魅族pro6s最新消息，魅族Pro6s,从2699降价到2199,魅族目前最值得入手的旗舰机
工厂正在使用机器学习分析来优化资产
用ARM7和UC/OS-II设计的信号采集系统
慧荣科技（Silicon Motion） 图形显示 SoC 实现 4K 高清显示及低功耗
方正科技：现有客户订单已超出珠海高密承接能力
反激式开关电源变压器设计原理
如何解决MR16 LED照明的闪烁问题
此前，已经为大家讲解过t820的拍照、ai、安全性能（文末查看往期t820相关文章）。今天，小展将带你一同探索t820的音频性能。
声音是人类感知与交互的重要组成部分，音频应用早已覆盖了人们生活的方方面面，紫光展锐t820从用户角度出发，在语音通话、语音交互、音频播放与录制等维度进行技术创新，带来了全面的体验升级！
自研通话ai降噪，让彼此交流“更清晰”
从手机通话到直播、游戏和音视频会议，用户通话的需求越来越多，场景变的越来越复杂，对更清晰的语音诉求越来越强烈。复杂的使用场景对通话降噪算法提出了更大的挑战，传统的通话降噪算法在一些复杂噪声场景下，如鸣笛和风噪，很容易出现语音失真严重和降噪量不足的问题。如何让用户在各种复杂场景下，仍然能够不受周围环境噪声的干扰，听到“更清晰”的语音，成为用户最为紧迫的诉求。ai技术是解决这一诉求的不二之选，不过ai降噪面临以下技术难点：
智能终端设备的内存和算力非常有限，大规模的网络模型难以部署；
噪声场景和种类复杂多变，需要网络具有极高的泛化能力。
通过运用重要性剪枝、基于听觉特性的特征裁剪和损失融合技术，紫光展锐ai降噪技术成功解决了以上难点。目前ai降噪已应用在t820 5g芯片上，支持蜂窝通信、直播、游戏、音视频会议等各种通话应用场景。t820能够在平稳、非平稳等各种噪声场景下实现优异的噪声抑制效果，获取更加清晰的语音。图1为平稳噪声场景处理前后的语音频谱对比图。图2为非平稳噪声场景处理前后的语音频谱对比图。可以看出，无论在何种场景下，紫光展锐ai降噪技术，均能在保证噪声抑制干净的前提下，做到非常完整的语音保留，从而为用户提供 “更清晰”的交流空间。
图1.平稳噪声场景ai降噪处理前后的语音频谱对比图
图2.非平稳噪声场景ai降噪处理前后的语音频谱对比图
视听一体化录制技术，让生活记录“更真实”
随着vlog等生活方式的流行，人人都可以用智能手机来记录生活，这也对录制技术有了更高的要求。手机音频录制功能也得到越来越多的关注，近年来该功能常作为产品主推的技术亮点之一。视频录制的效果很大程度得益于真实、清晰的音频录制，现在的智能手机拍摄画面的质量越来越高，能拍得更远更清晰。但在许多场景下，想要录制清晰的声音并不简单。当没有与高质量画面匹配的高质量音频时，再好的视频内容也总是不完美的。
图3.视听一体化录制技术示意图
紫光展锐视听一体化录制技术，在录制视频时凸显画面中的目标声音，针对性衰减目标之外的干扰，同时结合视频画面信息对录音进行控制，增加音频与画面的匹配度。
图4.非目标方向干扰抑制性能展示
当前市场上，大部分厂商具备类似差异化功能产品均采用三麦方案，而大部分智能手机均采用双麦方案。紫光展锐视听一体化录制技术支持双麦阵列方案，在保证性能情况下，极大地减小了技术的应用成本。在保证目标声音无失真、底噪无明显放大的情况下，最大可放大目标声音12db以上，最大噪声抑制量可达到6db左右。如图4，除目标方向90°无衰减外，其余方向均有相应干扰抑制。在突显目标声音能力和噪声抑制能力两项关键性能上，均能达到市场上竞品三麦方案水平，甚至优于部分厂商三麦方案。
紫光展锐视听一体化录制技术将以优秀的性能，助力各种视频录制场景，给用户带来“更真实”的音视频录制体验。
智能功放解决方案，让音频播放 “更动听”
在播放音视频和游戏娱乐等场景中，手机扬声器发出的声音是否动听极大影响用户的使用体验。但随着手机越来越轻薄，能够给到扬声器的空间极为有限，使得扬声器更容易受到振幅、温度的影响。如果扬声器的振膜位移或音圈温度超过安全大小均会导致永久损坏。在保护扬声器安全的前提下，使扬声器播放出音质更好、音量更大的声音，是业界技术发展的共同目标。
紫光展锐的智能功放isc（intelligent speaker control）技术，能够建立准确的扬声器模型，通过控制电压来控制振膜和温度，使扬声器物尽其用，发挥出最大的性能潜力。目前isc技术支持前馈及反馈两种方案，满足不同客户的需求。前馈方案无需增加硬件，以较低成本获得最优性能，使智能功放成为普惠技术。而反馈方案增加了电压电流（i/v）的监测通路，能够实时获得扬声器的工作状态，发挥每个单体扬声器的性能可以获得比前馈方案更优的性能。
图5.智能功放isc
图6为录制得到的扬声器播放的声音信号，可以看到，与无isc算法处理相比，isc算法处理后声音大小显著提高，声压级提升5~8db,低频提升6-10db。
图6.isc处理效果--声压
除核心的扬声器控制及保护技术外，isc技术还支持包括音量增强、频响精细调整、动态范围控制、低音增强等功能。频响精细调整功能能够根据客户的需求，得到更均衡的频响。低音增强技术利用心理声学虚拟音调原理，生成低频的谐波即“虚拟低音”，改善小型扬声器低频音质，使用户感知到更具冲击力的低频效果。
紫光展锐的智能功放isc（intelligent speaker control）技术能够发挥扬声器的性能，用户无论在听音乐还是打游戏时，均能听到更悦耳的声音，获取更佳的听音体验。
专用低功耗语音唤醒ic，让终端交互“更智能”
语音助手如今已是智能终端的标配，语音唤醒作为语音交互的门户，从某种程度上来说，其综合性能的好坏，决定了用户使用语音助手的意愿，同时也成为了终端实现智能化的瓶颈。
语音唤醒主要面临以下技术难点：
24小时不间断运行（always on），要求具有极致的低功耗；
严苛的高唤醒率、低误唤醒率要求，确保使用语音助手的用户体验；
较低的计算和内存开销，要求满足实时性和低成本。
传统的语音唤醒方案，通过集成智能麦克风或专用的语音唤醒芯片来解决低功耗问题。但这种多芯片堆叠的方式无疑大幅增加了产品成本，影响了特性在中低端市场的下沉。展锐5g芯片t820集成了专用低功耗语音唤醒ic，仅需要一颗芯片，就能支持完整的唤醒功能，不仅有效解决了性能和功耗之间的矛盾，还降低了下游厂商的方案成本，加速了产品“智能化”的普及。
图7.t820语音唤醒方案
除以上专用ic之外，展锐在算法层面还提供从轻量级到常规级的唤醒与识别算法，形成一整套完整的软硬件一体化解决方案，算法、芯片定制化技术，让资源开销更为合理，综合性能实现安静环境95%、嘈杂环境90%以上的唤醒率，同时误唤醒率小于1次/24小时，为终端语音交互智能化体验保驾护航。
紫光展锐将持续打造业界领先的软硬件一体化音频技术，为消费者带来极致的影音体验！
end
✦
往期推荐
1. 紫光展锐发布系统级安全的高性能5g soc移动平台t820
2. 紫光展锐5g芯片t820，给你满满的安全感！
3. 紫光展锐5g芯片t820—ai释放大能量
4. 紫光展锐t820，拍照质量和性能双提升
原文标题：声音的新科技 | 拆解紫光展锐5g芯t820的音频技术
文章出处：【微信公众号：紫光展锐unisoc】欢迎添加关注！文章转载请注明出处。
动力电池测试的目的和方法
马斯克：Neuralink计划为四肢瘫痪或截瘫的病人进行植入试验
光模块测试，你选对电源了吗？
海谱纳米光学完成A轮融资 领跑全球高光谱成像行业
办公楼路灯景观车库智能照明控制系统RS485解决方案
声音的新科技 | 拆解紫光展锐5G芯T820的音频技术
英特尔推新型封装材料，满足大模型时代应用
什么是s参数?s参数的含义?s参数定义解析
digilent E1 asterisk 数字卡介绍
电销机器人来了，人工电销的好帮手
电机驱动器输出滤波器的应用有哪些？
内部消息，苹果A11已经量产！至于iPhone8产量就不用担心了
光耦继电器的工作原理和优点
魅族pro6s最新消息，魅族Pro6s,从2699降价到2199,魅族目前最值得入手的旗舰机
工厂正在使用机器学习分析来优化资产
用ARM7和UC/OS-II设计的信号采集系统
慧荣科技（Silicon Motion） 图形显示 SoC 实现 4K 高清显示及低功耗
方正科技：现有客户订单已超出珠海高密承接能力
反激式开关电源变压器设计原理
如何解决MR16 LED照明的闪烁问题