谷歌人工智能研究人员创建了一种人工智能模型ALBERT

谷歌人工智能(google ai)和芝加哥丰田技术研究所(toyota technology institute of chicago)的研究人员创建了一种人工智能模型albert,它在主要的nlp性能排行榜上,glue和squad 2.0等基准测试以及高race性能得分方面,均名列第一。
在斯坦福问答数据集基准(squad)上,albert得分为92.2,在通用语言理解评估(glue)基准上,albert得分为89.4,在通过英语考试获得的理解(race)基准上,albert分数为89.4%。
albert是基于bert的转换衍生版本,根据openreview.net周三发表的一篇论文介绍,它可以“使用参数约简技术,来降低内存的消耗,提高bert的训练速度”。据可靠消息,该论文将于2020年的4月份,与其他被接受发表的论文一起,在埃塞俄比亚亚的斯亚贝巴举行的国际学习表征会议上,供各国代表参考。
论文中写道,“我们提出的方法使模型的规模比原来好得多。此外,我们还使用了一种自我监督的模式,该模式侧重于对句子间的连贯性进行建模,并表明它始终有助于下游任务的多句输入。”
albert是bert的最新衍生品,在主要的基准测试中全都名列前茅。5月,微软的人工智能研究人员引入了多任务深度神经网络(mt-dnn),该模型在9个glue基准测试中有7个取得了高分;7月底,facebook的人工智能研究引入了roberta模型,效果显著。
每个模型的性能都超过了人类的平均水平。在其他与变压器相关的新闻中,初创公司hug face的pytorch库可以很方便地使用像bert这样的主流变压器模型,open ai的gpt-2和谷歌的xlnet通过长时间的研究,使该库可用于tensorflow。该公司首席执行官克莱门特·德兰古告诉venturebeat网站,自今年年初以来,pytorch-transformers已经安装了超过50万台pip,实际效果令人非常满意。

物联网将为制造业的发展注入更多活力
VOCscs在线监测系统为挥发性有机化合物保驾护航
Pure Storage发布2019年存储技术预测
vivo X9/X9 Plus本月16日发布 首次采用1.59mm超窄边框设计!
LTK联辉科单/双通道A.B.D类功放选型表替代大全
谷歌人工智能研究人员创建了一种人工智能模型ALBERT
诺基亚智能电视搭载JBL音箱系统,还将有望装备杜比音效
使用光驱制作简单的3D打印机
苹果应收购诺基亚?囊括专利宝库 改进地图
工业4.0发展和半导体制造网络整合
VR设备销量大幅下滑12%,虚拟世界为何迟迟无法叩开现实大门
关于PVA刷摩擦表面的清洗技术
现代集团为何选择接手波士顿动力?
ToF的测距原理
字节跳动已经布局了社交社区、人工智能、企业服务等11个赛道
获5G CE认证证书,OPPO携手消费者迈向5G时代!
pcb设计的关键点有哪一些
长沙清退40万辆共享电单车
首艘国产航母下水背后的功过是非
自动化生产线,工业机器人发挥重要的价值作用