如何向大规模预训练语言模型中融入知识？
本文介绍了复旦大学数据智能与社会计算实验室 (fudan disc)在acl 2021上录用的一篇findings长文: k-adapter: infusing knowledge into pre-trained models with adapters
文章摘要
本文关注于向大规模预训练语言模型（如roberta、bert等）中融入知识。提出了一种灵活、简便的知识融入框架k-adapter，通过外挂知识插件的方式来增强原模型，缓解了知识遗忘的问题、且支持连续知识学习。本文提出的模型在三种知识驱动的任务，包括了命名实体识别、关系分类、问答等任务上取得了显著的效果。
研究背景
预训练语言模型，如bert、gpt、xlnet、roberta，可以通过无监督训练目标（如mlm）来从大规模文本语料中学习通用表示，并且在各种各样的下游任务上取得了sota的表现。尽管这些模型取得了巨大的进步，但是最近的一些工作表明这些通过无监督方式训练的模型很难学习到丰富的知识，如逻辑知识、事实类知识、语言学知识、特定领域的知识等等。因此这启发了本文来研究如何向预训练模型中融入知识。
最近出现了一些向预训练模型中融入知识的工作，如ernie、wklm、knowbert等。下表中展示了本文工作和先前融入知识工作的对比。先前的工作通过多任务（multi-task）学习的方式训练模型，也就是在原有的mlm训练目标的基础上，额外增加了用于融入知识的训练目标，例如erine通过增加entity linking的训练目标学习相关知识。由于这些方法在预训练融入知识的阶段bert不是固定的，需要更新模型的全部参数，会使得模型融入知识的代价较大。而且他们不支持连续学习，模型的参数在引入新知识的时候需要重新训练；对于已经学到的知识来说，会造成灾难性遗忘（catastrophic forgetting）的问题。为了更好地解决上述问题，本文提出了 k-adapter，一种灵活、简便地向预训练模型中注入知识的方法。
方法描述
本文提出的方法如下图所示。图a是基于多任务学习融入知识的方法，图b是本文模型k-adapter，通过外挂在原始模型外的adapter，融入不同种类的知识。
1. adapter结构
adapter模型可以看做是知识特定模型，可以看做为插件，挂载在预训练模型外部。具体而言，每个adapter模型由k个adapter层（如下图所示，kia）组成，其中每个adapter层包含了n个transformer层和两个映射层（projection layer）。对于adapter模型，本文将adapter层插入到预训练模型的不同transformer层之间，将预训练模型的中间层输出的特征和前一个adapter层的输出特征拼接作为adapter层的输入。本文将预训练模型和adapter的最后一个隐藏特征拼接作为最终的输出特征。
本文采用roberta作为backbone。需要注意的是，roberta在融入知识的预训练过程中是固定的，但adapter的参数是可训练的。这样的模型和训练设定，缓解了融入知识时灾难性遗忘的问题，不同知识的学习不受影响，融入知识效率更高；而且不同的adapter间没有信息流、可以利用分布式的方式同时、独立地训练。
本文通过设置不同的预训练任务向adapter中融入不同的知识。接下来介绍如何将不同种类的知识融入到特定的adapter中。
2. 知识融入
下图展示了向知识特定adapter中融入知识的框图。
本文主要融入了2种知识——事实类知识和语言类知识，分别融入到了2种知识特定的adapter中：
（1）factual adapter：factual adapter融入了事实类知识。此处的事实类知识指文本中实体之间的关系，来源于wikipedia和wikidata之间自动对齐的文本-三元组对。本文在关系分类任务上进行预训练来融入知识，该任务要求给定1个句子和句子中的2个实体，然后要求模型预测出这两个实体的关系。如下图展示了融入事实类知识的示意图。
（2）linguistic adapter：linguistic adapter融入了语言类知识。语言类的知识是自然语言中最基本的一类知识，比如说语义和语法信息。本文中的语言类知识指文本中词之间的依存关系。本文在依存关系预测任务上进行预训练来融入知识。这个任务要求模型预测出给定句子中，每个词的father的index。
下图展示了如何将adapter应用在下游任务中。此处关键的点是预训练模型特征+知识特征，即一方面利用预训练模型的通用信息，一方面利用adapter中的特定知识。
实验
本文在3种知识驱动的下游任务上进行实验，包含命名实体识别，问答和关系分类。此外，还通过案例分析和探究性实验对模型学习事实类知识的有效性进行了分析。k-adapter (f+l) 代表同时外挂事实类(factual) adapter和语言类(linguistic) adapter；k-adapter (f) 代表外挂事实类(factual) adapter，k-adapter (l) 代表外挂语言(linguistic) adapter。实验中roberta均指roberta-large。
1. 命名实体识别（entity typing）
命名实体识别任务是给定一个文本和指定的实体，让模型预测出指定实体的类别。在openentity和figer数据集上的结果如下表所示。在openentity数据集上，本文模型k-adapter（f+l）相比于roberta进一步提高了1.38%的mi-f1。在figer数据集上，与wklm相比，k-adapter (f+l)提高了2.88%的ma-f1，提高了2.54%的mi-f1。
2. 问答（question answering）
问答任务的目的是给定一个问题和一个文本，来让模型做出回答，有时还会提供问题的上下文信息。在问答任务上的实验结果如下表所示。在cosmosqa上，与bert-ftrace+swag相比，本文的roberta在准确率上显著提高了11.89%。与roberta相比，k-adapter（f+l）进一步提高了1.24%的准确率，这表明k-adapter可以获得更好的常识推理能力。在开放域的qa数据集（searchqa和quasar-t）上，与其他baseline相比，k-adapter取得了更好的结果。这表明k-adapter可以充分利用融入的知识，有利于根据检索到的段落来回答问题。具体来说，在searchqa上，k-adapter（f+l）wklm相比，显著提高了4.01%的f1，甚至比wklm+ranking略高。值得注意的是，k-adapter没有建模检索到的段落的置信度，而wklm+ranking额外利用了另一个基于bert的ranker为检索到的段落进行打分、排序。
3. 关系分类（relation classification）
关系分类任务是指给定一个文本和文本中的两个实体，要求模型预测出这两个实体之间的关系。在关系分类任务上的实验结果如下表所示。结果表明，k-adapter明显优于所有baseline。特别地，（1）k-adapter模型优于roberta，证明了利用adapter进行知识融入的有效性；（2）与roberta+multitask相比，k-adapter取得了更大的提升，这直接说明了k-adapter相比于多任务学习方式融入知识的效果更好，有助于模型充分利用知识。
4. 案例分析（case study）
下表中展示了在tacred数据集上，k-adapter和roberta的定性比较。结果表明，k-adapter中的事实知识可以帮助模型从预测“no_relation”转换到预测正确的类别标签。
为了检验模型学习事实类知识的能力，本文在lama数据集上进行了探究（probing）实验。具体来说，该实验是在zero-shot的设定下进行的，要求模型不在微调的情况下完成关于事实知识的完型填空，例如将“the native language of mammootty is [mask] ”作为输入，让模型预测出 [mask]是什么。
总结
提出了一种灵活而简单的方法k-adapter，支持将知识注入到大规模预训练语言模型中。
k-adapter保持原有预训练模型参数不变，使用不同的知识特定插件学习不同类别的知识，支持连续知识学习，从而缓解“知识遗忘”问题，即融入新的知识不会影响原有的知识；且由于不同adapter间没有信息流，所以adapter可以用分布式的方式进行高效地训练。
在三种知识驱动的任务上取得了显著的效果，包括了命名实体识别、关系分类、问答。详细的分析进一步证明k-adapter可以学习到更为丰富的事实类知识，为如何有效地进行知识融入提供了一些见解。
HKZ-60开关状态智能显示操控装置
基于ULN2003A达林顿管的步进电机驱动设计
PCB双面板的制作工艺
内外兼修，江波龙DDR4内存已通过KTI专项测试认证
灵动飞扬获 2019年度汽车电子科学技术奖·优秀创新产品奖！
如何向大规模预训练语言模型中融入知识？
安防监控技术防失窃
中国联通5G终端“朋友圈”了不得
汽车音响改装须知
了解移动通信技术给相关产业带来的发展情况
Kneron KL630 基于耐能智慧神经网路架构的超高弹性配置之AI 相机应用方案
手机接口那么多，为什么Type-C接口最受欢迎
手机芯片市场成鼎力之势 高通占领高端市场 联发科、展讯分享中低端市场
基于微流控系统开发单细胞生物芯片平台
MAX1385/MAX1386封装引脚图 应用电路图及其特性概述
浅析C++基础语法之计算机网络中传输层（TCP&UDP）
印度计划一年将推出约452元的5G智能手机
台积电回应称美国目前并没有改变半导体规则
实用的自动延时照明开关电路
三星二季度利润增长53%，但芯片库存几乎耗尽
文章摘要
本文关注于向大规模预训练语言模型（如roberta、bert等）中融入知识。提出了一种灵活、简便的知识融入框架k-adapter，通过外挂知识插件的方式来增强原模型，缓解了知识遗忘的问题、且支持连续知识学习。本文提出的模型在三种知识驱动的任务，包括了命名实体识别、关系分类、问答等任务上取得了显著的效果。
研究背景
预训练语言模型，如bert、gpt、xlnet、roberta，可以通过无监督训练目标（如mlm）来从大规模文本语料中学习通用表示，并且在各种各样的下游任务上取得了sota的表现。尽管这些模型取得了巨大的进步，但是最近的一些工作表明这些通过无监督方式训练的模型很难学习到丰富的知识，如逻辑知识、事实类知识、语言学知识、特定领域的知识等等。因此这启发了本文来研究如何向预训练模型中融入知识。
最近出现了一些向预训练模型中融入知识的工作，如ernie、wklm、knowbert等。下表中展示了本文工作和先前融入知识工作的对比。先前的工作通过多任务（multi-task）学习的方式训练模型，也就是在原有的mlm训练目标的基础上，额外增加了用于融入知识的训练目标，例如erine通过增加entity linking的训练目标学习相关知识。由于这些方法在预训练融入知识的阶段bert不是固定的，需要更新模型的全部参数，会使得模型融入知识的代价较大。而且他们不支持连续学习，模型的参数在引入新知识的时候需要重新训练；对于已经学到的知识来说，会造成灾难性遗忘（catastrophic forgetting）的问题。为了更好地解决上述问题，本文提出了 k-adapter，一种灵活、简便地向预训练模型中注入知识的方法。
方法描述
本文提出的方法如下图所示。图a是基于多任务学习融入知识的方法，图b是本文模型k-adapter，通过外挂在原始模型外的adapter，融入不同种类的知识。
1. adapter结构
adapter模型可以看做是知识特定模型，可以看做为插件，挂载在预训练模型外部。具体而言，每个adapter模型由k个adapter层（如下图所示，kia）组成，其中每个adapter层包含了n个transformer层和两个映射层（projection layer）。对于adapter模型，本文将adapter层插入到预训练模型的不同transformer层之间，将预训练模型的中间层输出的特征和前一个adapter层的输出特征拼接作为adapter层的输入。本文将预训练模型和adapter的最后一个隐藏特征拼接作为最终的输出特征。
本文采用roberta作为backbone。需要注意的是，roberta在融入知识的预训练过程中是固定的，但adapter的参数是可训练的。这样的模型和训练设定，缓解了融入知识时灾难性遗忘的问题，不同知识的学习不受影响，融入知识效率更高；而且不同的adapter间没有信息流、可以利用分布式的方式同时、独立地训练。
本文通过设置不同的预训练任务向adapter中融入不同的知识。接下来介绍如何将不同种类的知识融入到特定的adapter中。
2. 知识融入
下图展示了向知识特定adapter中融入知识的框图。
本文主要融入了2种知识——事实类知识和语言类知识，分别融入到了2种知识特定的adapter中：
（1）factual adapter：factual adapter融入了事实类知识。此处的事实类知识指文本中实体之间的关系，来源于wikipedia和wikidata之间自动对齐的文本-三元组对。本文在关系分类任务上进行预训练来融入知识，该任务要求给定1个句子和句子中的2个实体，然后要求模型预测出这两个实体的关系。如下图展示了融入事实类知识的示意图。
（2）linguistic adapter：linguistic adapter融入了语言类知识。语言类的知识是自然语言中最基本的一类知识，比如说语义和语法信息。本文中的语言类知识指文本中词之间的依存关系。本文在依存关系预测任务上进行预训练来融入知识。这个任务要求模型预测出给定句子中，每个词的father的index。
下图展示了如何将adapter应用在下游任务中。此处关键的点是预训练模型特征+知识特征，即一方面利用预训练模型的通用信息，一方面利用adapter中的特定知识。
实验
本文在3种知识驱动的下游任务上进行实验，包含命名实体识别，问答和关系分类。此外，还通过案例分析和探究性实验对模型学习事实类知识的有效性进行了分析。k-adapter (f+l) 代表同时外挂事实类(factual) adapter和语言类(linguistic) adapter；k-adapter (f) 代表外挂事实类(factual) adapter，k-adapter (l) 代表外挂语言(linguistic) adapter。实验中roberta均指roberta-large。
1. 命名实体识别（entity typing）
命名实体识别任务是给定一个文本和指定的实体，让模型预测出指定实体的类别。在openentity和figer数据集上的结果如下表所示。在openentity数据集上，本文模型k-adapter（f+l）相比于roberta进一步提高了1.38%的mi-f1。在figer数据集上，与wklm相比，k-adapter (f+l)提高了2.88%的ma-f1，提高了2.54%的mi-f1。
2. 问答（question answering）
问答任务的目的是给定一个问题和一个文本，来让模型做出回答，有时还会提供问题的上下文信息。在问答任务上的实验结果如下表所示。在cosmosqa上，与bert-ftrace+swag相比，本文的roberta在准确率上显著提高了11.89%。与roberta相比，k-adapter（f+l）进一步提高了1.24%的准确率，这表明k-adapter可以获得更好的常识推理能力。在开放域的qa数据集（searchqa和quasar-t）上，与其他baseline相比，k-adapter取得了更好的结果。这表明k-adapter可以充分利用融入的知识，有利于根据检索到的段落来回答问题。具体来说，在searchqa上，k-adapter（f+l）wklm相比，显著提高了4.01%的f1，甚至比wklm+ranking略高。值得注意的是，k-adapter没有建模检索到的段落的置信度，而wklm+ranking额外利用了另一个基于bert的ranker为检索到的段落进行打分、排序。
3. 关系分类（relation classification）
关系分类任务是指给定一个文本和文本中的两个实体，要求模型预测出这两个实体之间的关系。在关系分类任务上的实验结果如下表所示。结果表明，k-adapter明显优于所有baseline。特别地，（1）k-adapter模型优于roberta，证明了利用adapter进行知识融入的有效性；（2）与roberta+multitask相比，k-adapter取得了更大的提升，这直接说明了k-adapter相比于多任务学习方式融入知识的效果更好，有助于模型充分利用知识。
4. 案例分析（case study）
下表中展示了在tacred数据集上，k-adapter和roberta的定性比较。结果表明，k-adapter中的事实知识可以帮助模型从预测“no_relation”转换到预测正确的类别标签。
为了检验模型学习事实类知识的能力，本文在lama数据集上进行了探究（probing）实验。具体来说，该实验是在zero-shot的设定下进行的，要求模型不在微调的情况下完成关于事实知识的完型填空，例如将“the native language of mammootty is [mask] ”作为输入，让模型预测出 [mask]是什么。
总结
提出了一种灵活而简单的方法k-adapter，支持将知识注入到大规模预训练语言模型中。
k-adapter保持原有预训练模型参数不变，使用不同的知识特定插件学习不同类别的知识，支持连续知识学习，从而缓解“知识遗忘”问题，即融入新的知识不会影响原有的知识；且由于不同adapter间没有信息流，所以adapter可以用分布式的方式进行高效地训练。
在三种知识驱动的任务上取得了显著的效果，包括了命名实体识别、关系分类、问答。详细的分析进一步证明k-adapter可以学习到更为丰富的事实类知识，为如何有效地进行知识融入提供了一些见解。
HKZ-60开关状态智能显示操控装置
基于ULN2003A达林顿管的步进电机驱动设计
PCB双面板的制作工艺
内外兼修，江波龙DDR4内存已通过KTI专项测试认证
灵动飞扬获 2019年度汽车电子科学技术奖·优秀创新产品奖！
如何向大规模预训练语言模型中融入知识？
安防监控技术防失窃
中国联通5G终端“朋友圈”了不得
汽车音响改装须知
了解移动通信技术给相关产业带来的发展情况
Kneron KL630 基于耐能智慧神经网路架构的超高弹性配置之AI 相机应用方案
手机接口那么多，为什么Type-C接口最受欢迎
手机芯片市场成鼎力之势 高通占领高端市场 联发科、展讯分享中低端市场
基于微流控系统开发单细胞生物芯片平台
MAX1385/MAX1386封装引脚图 应用电路图及其特性概述
浅析C++基础语法之计算机网络中传输层（TCP&UDP）
印度计划一年将推出约452元的5G智能手机
台积电回应称美国目前并没有改变半导体规则
实用的自动延时照明开关电路
三星二季度利润增长53%，但芯片库存几乎耗尽