无声语音识别，脖颈贴合传感器AI转换皮肤震动信息
（文章来源：雷锋网）
如今，对于听力有障碍的群体来说，听不到的声音，可以触摸到了。“触摸”听不到的语言，是由东京大学和索尼计算机科学研究所（csl）共同研发的 ai 系统“derma”实现的。有了 derma 系统，只要在喉咙周围的皮肤上贴上传感器，利用喉咙和下颚的皮肤震动，就能将口形转化为语音。
根据病症的严重程度，现阶段治疗听力障碍的主流手段包括：药物治疗：通过静脉点滴或局部滴药（如激素、抗菌素、抗病毒药物等）消退炎症，使听力尽快恢复；手术治疗：主要针对外、中耳畸形、各种压迫咽鼓管疾病、耳外伤等进行手术；仪器辅助：如助听器（听力损失程度≤80db）、人工耳蜗（听力损失程度>80db）。
其中，人工耳蜗植入是当前让重度、极重度耳聋患者恢复听力的唯一有效办法。早在 1957 年，法国科学家首次将电极植入一位全聋病人的耳蜗内，使该患者感知到周围的环境音。直到上世纪 90 年代，人工耳蜗进入临床应用阶段，给极重度耳聋患者带来了“新生”。
实际上，人工耳蜗的发展离不开电子技术、计算机技术、语音学、电生理学、材料学、耳显微外科学的发展。在这些学科兴起、发展之前，针对听力障碍患者，科学家给出的应对措施是一种叫做 tadoma 的触诊唇读法。顾名思义，这种疗法是指——听力障碍患者通过用手指触摸说话者的嘴唇、下巴、脖颈处，读取说话者想表达的内容。
而上述日本团队研发 ai 系统 derma 的灵感，最初正是源于tadoma。通过机器学习将tadoma自动化，该团队的设计其实就是将tadoma 疗法的过程通过机器学习自动化了。
就其原理而言，如下图所示，在喉咙周边的皮肤上贴上一个加速度/角速度传感器，获取无声发声时下颚、舌肌运动引起的从下颚到喉咙的皮肤颤动信息，采用深度学习进行分析识别，最终实现将无声语音转换为语音输入的无声语音交互（silent speech interaction，ssi）。
该传感器可获取 12 维的皮肤运动信息，深度学习可以分析、识别 35 种发声类型。实验表明，识别皮肤颤动信息的精准度超过 94％。值得一提的是，研究团队训练模型用到了连接时间分类（connectionist temporal classification, ctc）。
实际上，在训练语音识别器的过程中，受说话者语速等因素影响，将输入与输出对齐是一个难点。为解决这一问题，连接时间分类就派上用场了。就其外形而言，与现有的一些无声语音交互设备相比，这一设备体积小、重量轻、并不显眼。此外，这一系统耗电量低，不易受到环境亮度等因素的影响，不会影响到佩戴者的正常生活，可以说是非常实用了。
另外研究团队表示，经转换后的语音合成不仅可以输入到具有语音识别功能的数字设备（语音助手），同时也能帮助有语言障碍的患者进行交流。将来，该团队的研究方向则是可穿戴电子设备和体内嵌入式计算集成。
重锤空降，中芯国际高层的平衡木需要重新调校
会是Xplay7吗？vivo神秘新机现身Geekbench跑分库
研发投入超过630亿 华为加速追赶苹果三星
AMD庆成立50周年；Intel重制核显控制面板将发布
英飞凌2023大中华区生态创新峰会举行 全芯打造“融合”创新生态
无声语音识别，脖颈贴合传感器AI转换皮肤震动信息
双十二苏宁支付钜惠来袭，助您省钱囤货过暖冬
PduR模块的发送机制 PduR这个模块对什么进行了抽象呢？
无线充市场细分的热点在哪里？
小众厂商正面刚知名品牌 努比亚M2和荣耀V9对比评测
2019年VR硬件出货量570万 XR游戏收入达到63亿美元
嘉拓智能锂电设备四大技术“出牌”
基于Nios II系统实现LCD显示控制IP核的设计
七彩缤纷的Wi-Fi电波
ST25TN NFC标签荣获IOTE 2022金奖创新产品!
Acer已正式发布掠夺者X27显示器，即将上市
关于对象存储提供的五个主要优点
4425-001D模拟差压传感器的应用
红米Pro2最新消息！红米Pro2即将发布：骁龙660+6G运存，售价1599起
Galaxy S21和Galaxy S21+性能差异介绍
如今，对于听力有障碍的群体来说，听不到的声音，可以触摸到了。“触摸”听不到的语言，是由东京大学和索尼计算机科学研究所（csl）共同研发的 ai 系统“derma”实现的。有了 derma 系统，只要在喉咙周围的皮肤上贴上传感器，利用喉咙和下颚的皮肤震动，就能将口形转化为语音。
根据病症的严重程度，现阶段治疗听力障碍的主流手段包括：药物治疗：通过静脉点滴或局部滴药（如激素、抗菌素、抗病毒药物等）消退炎症，使听力尽快恢复；手术治疗：主要针对外、中耳畸形、各种压迫咽鼓管疾病、耳外伤等进行手术；仪器辅助：如助听器（听力损失程度≤80db）、人工耳蜗（听力损失程度>80db）。
其中，人工耳蜗植入是当前让重度、极重度耳聋患者恢复听力的唯一有效办法。早在 1957 年，法国科学家首次将电极植入一位全聋病人的耳蜗内，使该患者感知到周围的环境音。直到上世纪 90 年代，人工耳蜗进入临床应用阶段，给极重度耳聋患者带来了“新生”。
实际上，人工耳蜗的发展离不开电子技术、计算机技术、语音学、电生理学、材料学、耳显微外科学的发展。在这些学科兴起、发展之前，针对听力障碍患者，科学家给出的应对措施是一种叫做 tadoma 的触诊唇读法。顾名思义，这种疗法是指——听力障碍患者通过用手指触摸说话者的嘴唇、下巴、脖颈处，读取说话者想表达的内容。
而上述日本团队研发 ai 系统 derma 的灵感，最初正是源于tadoma。通过机器学习将tadoma自动化，该团队的设计其实就是将tadoma 疗法的过程通过机器学习自动化了。
就其原理而言，如下图所示，在喉咙周边的皮肤上贴上一个加速度/角速度传感器，获取无声发声时下颚、舌肌运动引起的从下颚到喉咙的皮肤颤动信息，采用深度学习进行分析识别，最终实现将无声语音转换为语音输入的无声语音交互（silent speech interaction，ssi）。
该传感器可获取 12 维的皮肤运动信息，深度学习可以分析、识别 35 种发声类型。实验表明，识别皮肤颤动信息的精准度超过 94％。值得一提的是，研究团队训练模型用到了连接时间分类（connectionist temporal classification, ctc）。
实际上，在训练语音识别器的过程中，受说话者语速等因素影响，将输入与输出对齐是一个难点。为解决这一问题，连接时间分类就派上用场了。就其外形而言，与现有的一些无声语音交互设备相比，这一设备体积小、重量轻、并不显眼。此外，这一系统耗电量低，不易受到环境亮度等因素的影响，不会影响到佩戴者的正常生活，可以说是非常实用了。
另外研究团队表示，经转换后的语音合成不仅可以输入到具有语音识别功能的数字设备（语音助手），同时也能帮助有语言障碍的患者进行交流。将来，该团队的研究方向则是可穿戴电子设备和体内嵌入式计算集成。
重锤空降，中芯国际高层的平衡木需要重新调校
会是Xplay7吗？vivo神秘新机现身Geekbench跑分库
研发投入超过630亿 华为加速追赶苹果三星
AMD庆成立50周年；Intel重制核显控制面板将发布
英飞凌2023大中华区生态创新峰会举行 全芯打造“融合”创新生态
无声语音识别，脖颈贴合传感器AI转换皮肤震动信息
双十二苏宁支付钜惠来袭，助您省钱囤货过暖冬
PduR模块的发送机制 PduR这个模块对什么进行了抽象呢？
无线充市场细分的热点在哪里？
小众厂商正面刚知名品牌 努比亚M2和荣耀V9对比评测
2019年VR硬件出货量570万 XR游戏收入达到63亿美元
嘉拓智能锂电设备四大技术“出牌”
基于Nios II系统实现LCD显示控制IP核的设计
七彩缤纷的Wi-Fi电波
ST25TN NFC标签荣获IOTE 2022金奖创新产品!
Acer已正式发布掠夺者X27显示器，即将上市
关于对象存储提供的五个主要优点
4425-001D模拟差压传感器的应用
红米Pro2最新消息！红米Pro2即将发布：骁龙660+6G运存，售价1599起
Galaxy S21和Galaxy S21+性能差异介绍