几十年来,机器一直在努力学习人类语言的微妙之处,深度学习的出现加速了这一进程。
今年2月,openai发布了一款令人印象深刻的语言模型gpt-2,它可以写短篇小说、诗歌,甚至轻松辨别《哈利波特》和《指环王》中的角色。最近,一位加拿大工程师用它创建了一个向公众开放的文本生成器,只需提供一个句子,机器便能自动生成一则完整的新闻、故事、歌词、诗歌、食谱和代码等文本。
我们用吴亦凡在综艺节目《七十二层奇楼》中的一段freestyle(即兴说唱)——“你看这个面它又长又宽,就像这个碗它又大又圆”进行了创作。一起来看看人工智能的freestyle水平吧。
芒果tv综艺《七十二层奇楼》
人工智能版《大碗宽面》
这个名为talktotransformer的文本生成器由加拿大工程师亚当·金(adam king)创建,它脱胎于openai的大规模无监督语言模型gpt-2。talktotransformer使用的是gpt-2的精简版本,这个版本过去只开放给特定的科学家和记者。
在talktotransformer中输入文本“你看这个面它又长又宽,就像这个碗它又大又圆”后,人工智能创作出的歌词大意为:
你看这个面它又长又宽,
就像这个碗它又大又圆。
只需尝一口,你就知道是面条。
我的脸上,露出怀疑的表情。
这是真的,我的碗它变成了面条。
这简直太棒了。
当我回到家,我得到一些鸡翅。
我怎么会变得这么好?谁知道呢?
我从朋友和家人那里得到足够的爱,
我的味蕾开始变大。
当我要吃饭的时候,
它不再只是食物,它是我的想法。
我想要吃好喝好的生活。
talktotransformer模型的输出结果
通过阅读上述由人工智能模型输出的文字,我们很容易发现,机器输出了一些看似语义完整的句子,但其中的意思却让人摸不着头脑。这就是自然语言处理(nlp)的难题——由于缺乏常识,机器并不真正理解语言的含义。
就如2018年图灵奖获得者约书亚·本吉奥(yoshua bengio)在接受澎湃新闻(www.thepaper.cn)采访时所言,目前的自然语言系统其实并不理解句子的真正含义,机器“会犯一些非常愚蠢的错误,甚至没有两岁小孩的理解能力”。
talktotransformer.com页面
文思泉涌的openai gpt-2语言模型
2019年2月,openai发布了拥有15亿参数的大规模无监督语言模型gpt-2,它擅长处理语言建模和文本预测任务,还具备阅读理解、总结、翻译等能力。只要给出一个开头的句子,gpt-2就能生成一篇小文章、一则新闻故事,甚至在文本中使用引语和统计数据。如果给出的句子是一个短篇小说的开头,它会告诉你接下来在这些角色身上会发生什么事。
openai加利福尼亚州实验室工程副总裁david luan对美国科技媒体《边缘》(the verge)表示,gpt-2能写出“非常合理的”、“称职的”论文,“是可以提交给美国大学入学资格考试(sat)并取得好成绩的东西”。
gpt-2在人工智能社区引起了不小的关注,但openai当时并没有开源这个系统。一方面,研究人员对该算法能做什么、不能做什么尚不明确;另一方面,他们担心这项技术被滥用——开源之后,如果有人向gpt-2提供种族主义、暴力、歧视女性或者辱骂性的文本,gpt-2将自动学习并持续地输入类似的内容。
不开源的决定引发了人工智能社区的不满,毕竟,开源是人工智能领域的优良传统。也许是反对的声音太大,openai在5月初表示将逐步公开gpt-2,并开源了345m的预训练模型。后续,openai将分析该语言模型对社会的影响。
机器人在图书馆正式上岗,海量图书管理更省心
购买锂电池气密性检测仪时需要考虑哪些因素呢?
MCS-51单片机与无线调制器的应用
沉金线路板主要的用途是什么
单轴机器人的主要结构
OpenAI发布一款令人印象深刻的语言模型GPT-2
东芝推出第3代650V SiC肖特基势垒二极管,助力提高工业设备效率
联想在5G下发展工业互联网的思考
转盘液压机设计特点的详细介绍
华强北采购元件如何避免买到散新货或者翻新货?
微雪电子1.3寸 Memory LCD扩展板简介
利用机器人进行扫描,使计算机断层摄影技术迈出了向前发展重要的一步
5G激发新价值,加速数字化转型
伺服阀放大线路图
召开VR战略会议的目的是促进VR和AR行业的深入交流
医用呼吸机前线的 PCB
自动驾驶车SoC:芯片设计师最可怕的梦魇
是德科技推出新款高性能5G基站测试解决方案
特斯拉将在中国成立一个移动服务部门,车主可使用二维码预约
TE推出新型VAL-U-LOK连接器 最大额定电流从9A提高至13A