背景
生成表达复杂含义的多句文本需要结构化的表征作为输入,本文使用知识图谱作为输入的表征,研究一个端到端的graph-to-text生成系统,并将其应用到科技类文本写作领域。作者使用一个科技类文章数据集的摘要部分,使用一个ie来为每个摘要提取信息,再将其重构成知识图谱的形式。作者通过实验表明,将ie抽取到知识用图来表示会比直接使用实体有更好的生成效果。
graph-to-text的一个重要任务是从 abstract meaning representation (amr) graph生成内容,其中图的编码方法主要有graph convolution encoder,graph attention encoder,graph lstm,本文的模型是graph attention encoder的一个延伸。
数据集
作者构建了一个abstract generation dataset(agenda),该数据包含40k个ai会议的论文标题和摘要。对于数据集中的每篇摘要,首先使用sciie来获取摘要中的命名实体及实体之间的关系(compare, used-for, feature-of, hyponymof,evaluate-for, and conjunction),随后将得到的这些组织成无连接带标签图的形式。
模型
graphwriter模型总览
编码器
构建图
将之前数据集中的无连接带标签图,转化为有连接无标签图,具体做法为:原图中的每个表示关系的边用两个节点替代,一个表示正向的关系,一个表示反向的关系;增加一个与所有实体节点连接全局向量节点,该向量将会被用来作为解码器的初始输入。下图中表示实体节点,表示关系,表示全局向量节点
最终得到的有连接,无标签图为g=(v,e),其中v表示实体/关系/全局向量节点,e表示连接矩阵(注意这里的g和v区别上述图中的g和v)。
graph transformer
graph transformer由l个block network叠加构成,在每个block内,节点的嵌入首先送入graph attention模块。这里使用多头自注意力机制,每个节点表征通过与其连接的节点使用注意力,来得到上下文相关的表征。得到的表征随后再送入正则化层和一个两层的前馈神经网络层。最后一层的得到的即表示上下文后的实体,关系,全局向量节点。
解码器
在每个时间步t使用隐藏状态来计算图和标题的上下文向量和,其中通过使用多头注意力得到,
也通过类似的方式得到,最终的上下文向量是两者的叠加。随后使用类似pointer-network的方法来生成一个新词或复制一个词,
实验
实验包含自动和人工评估,在自动评估中,graphwriter代表本篇文章的模型,gat中将graph transformer encoder使用一个graph attention network替换,entity writer仅使用到了实体和标题没有图的关系信息,rewriter仅仅使用了文章的标题,
从上图可以看到,使用标题,实体,关系的模型(graphwriter和gat)的表现要显著好于使用更少信息的模型。在人工评估中,使用best-worst scaling,
混合动力算新能源车吗_混合动力汽车值得购买吗
芯片上的角膜3D打印设备可模拟眨眼
占中国市场份额8%,鸿蒙坐稳第三大手机操作系统
桂林机场新1.8G无线集群通信系统经测试和优化后已完全覆盖场内所有工作区域
mmkp82双面金属膜电容的优点和作用
使用知识图谱作为输入的表征,研究一个端到端的graph-to-text生成系统
2019 GTC大会黄仁勋主题演讲: NVIDIA正在数据中心领域全速发力
专为地铁“智慧”升级,条形智能地铁导乘屏助力智慧出行!
SoundcoreFlare蓝牙音箱体验 面面俱到又独具特色
皮卡终迎来解禁的春天
速度传感器的工作原理是什么?有哪些分类?
汽车12V和24V电池电源电路输入保护方案
未来的虚拟现实数字世界会是怎样的
基于90-265 VAC LED150 W路灯电源的参考设计
IGBT芯片发展史
三星s8最新消息:HTCU11斗三星s8,骁龙835手机你更喜欢谁?
framework框架流程 模块绑定
高智能粮食重金属检测仪哪家质量好
! Agilent E4418A E4418B E4412A
基于C51单片机的计时器设计原理图