在唇读方面人工智能系统远远胜过人工识别

语音识别技术已经成为科技圈的亮点,无论是百度的度秘,还是搜索刚刚开发的要取代口译人员的机器人,语音识别技术真的是越来越强大了。 jamie condliff 在本文介绍了新的研究,证明人工智能不仅可以通过语音识别人们说话内容,即使听不到声音,人工智能已经可以顺利地读取唇语了,甚至比人工还要有效很多。
众所周知,唇读是非常困难的,很大程度上取决于语言的语境和对其的了解,而这些都只通过视觉来呈现的。但是研究者们正向我们表明,机器学习能够比专业唇读者更有效地来识别那些无声视频的台词。
在一个项目中,来自牛津大学计算机科学系的一个团队开发了一个名为lipnet的全新人工智能系统,据quartz新闻网站报道,这个系统建立在grid的数据集基础上,而grid是由人们朗读三秒钟句子的清晰的面部视频合辑构成。每个句子都遵循相同模式的字符串。
这个团队用这一数据集去训练神经网络,与执行语音辨认的性质类似。在这一过程中,尽管神经网络随着时间推移能够识别出口型变化,也能学会把这一信息与所说内容的解释联系起来。但是人工智能系统并不会断断续续地分析连续镜头,而是考虑整体内容,使得它能够从分析的句子中理解其中的语境。这一点非常重要,因为人们的口型往往比人们发出的声音要少很多。
测试的时候,这一人工智能系统能够准确地识别出93.4%的话语,许多人工唇读志愿者也做了同样的测试,但是准确率只有52.3%。
据new scientist报道,另外一个来自牛津大学工程科学系并一直与谷歌的deepmind这一人工智能系统合作的团队完成了一项更加困难的的任务。他们所使用的并不是像grid那样整齐一致的数据集,而是一系列从英国广播公司电视台截取的100,000个小视频。这些小视频囊括许多语种,并且其中有不同的光线效果和说话人头部位置的移动。
牛津大学和deepmind的团队用了类似的方法,成功地开发出一个识别率达到46.8%的人工智能系统。这远远超过了人工识别的准确率,人工识别要做到毫无差错的准确率只有12.4%。当然,准确率之所以这么低是有很多原因的,包括从光线和方向转换到更深层次的语言复杂程度。
撇开差异来说,这两次试验表明,人工智能系统在唇读方面远远胜过人工识别,我们不难想象,这种软件的应用潜力是巨大的。在将来,网络电话skype可以弥补很多不足,比如当呼叫者处于较吵的环境时,又或者说可以让那些听力有障碍的人也能拿起手机去“听”别人在说什么。

5G网络技术对医疗保健行业产生的影响
CMOS图像传感器
氩弧焊机常见故障有那些
用MCT材料和CdTe /ZnS双层钝化工艺制备碲镉汞中波探测器的研究成果
首款用于汽车前装的ETC SoC芯片推出,运用了QFN-48L封装
在唇读方面人工智能系统远远胜过人工识别
布氏硬度计工作原理和介绍
DSoC为C/C++开发团队提供帮助
是德科技助力中国电信NB-IoT测试
漫步者TWS NB2 Pro降噪耳机实测:有优秀的降噪能力和强大的音质表现
全热交换器是什么?全热交换器工作原理
新能源汽车市场步入洗牌期 光束汽车真正的考验才刚开始
5G手机会越来越便宜吗?
健身房中的智能镜面显示屏,它到底有多么的智能
各国大刀阔斧开辟新能源汽车市场 推广绿色交通方式
携程创始人梁建章:人工智能如何影响创新
全渠道覆盖灵云让智能客服无处不在,AI技术驱动深挖产业千亿级市场
OTP语音芯片NV080D在智能空气检测仪的应用
P2300SB P2300SC 半导体放电管 用于RJ11接口浪涌保护
汇顶科技起诉思立微和鼎芯侵犯其三项专利,共计索赔超2亿元人民币