删掉Transformer中的这几层性能变好了？
基于transformer结构的各类语言模型（bert基于其encoder,gpt-2基于其decoder）早已经在各类nlp任务上大放异彩，面对让人眼花缭乱的transformer堆叠方式，你是否也会感到迷茫？没关系，现在让我们回到最初，再次看看transformer 本来的模样——rethinking the value of transformer components。该文收录已于coling 2020。
众所周知，一个完整的transformer结构可以切分成encoder-self attention(“e:sa”)， encoder-feed forward(“e:ff”)， decoder-self attention(“d:sa”)， decoder-encoder attention(“d:ea”) 和 decoder-feed forward(“d:ff”) 5个sub-layer结构。文中作者采用了两种度量方式确认这些sub-layer的重要程度。
方法稍后再谈，先上干货，实验结果表明：
decoder self-attention layers是最不重要的，而decoder feed-forward layers是最重要的；
离模型的输入和输出越近的sub-layer要比其他的重要些；
在decoder里越靠后的encoder-attention layer要比之前的重要。
这些结果对不同的度量方法，数据集，初始化种子以及模型容量都能保持一致性。
▲transformer结构图
模块重要性分析
所谓的重要性究竟是什么呢？论文认为，这主要包括两个方面：
contribution in information flow，对于模型信息流的贡献程度
criticality in representation generalization，模型的模块对参数的扰动表现出不同的鲁棒性
contribution in information flow
transformer 最初是用来做机器翻译任务的。所谓的information flow就是指数据如何从源语言经过transformer的encoder和decoder最终成为目标语言的。如何衡量模型的每个部分对information flow做出的贡献呢? 最直观的想法就是去掉那个部分看看同样条件下模型的效果如何。如果去掉那个部分，模型效果没什么变化，那就说明该部分没做什么贡献，反之，如果删掉该部分，模型效果显著降低则说明它贡献卓著，没它不行。作者采用了如下的量化方法：
公式中指的是去除第n个部分后模型整体的bleu得分降。为了避免出现重要性指数出现负值和爆炸性下跌，作者将的值设定在[0,c]之间(真的会出现负重要性指数吗？那样倒挺好——模型变小，效果更好)。然后通过除以最大的得分降将的值进行了归一化，这里作者设置的上限c值为基线模型的bleu得分的1/10.
criticality in representation generalization
这里说的criticality指的是模型的模块对参数的扰动表现出不同的鲁棒性。比方说，如果将某个模块的参数重置为初始化参数，模型的表现变差，那么这个模块就是critical的，否则就是non-critical的。有人在理论上将这个criticality给公式化了，而且他们表明这个criticality可以反映神经网络的泛化能力。
作者便是参考了这个工作，对网络的第n个模块，定义
即初始权重和最终权重的一个凸组合。
那么第n个部分的criticality score就可以表示为
这个式子定量的说明了criticality是最小的能使模型在阈值的情况下保持性能。这个值越小说明该模块越不重要，这里取的是 0.5 bleu分。
两种度量方法虽然都是基于模块对模型表现的影响的，但是又有不同之处。contribution score可以看成是 hard metric(完全删除模块)，而 criticality score可以看成是一种soft metric,它衡量的是在保证模型表现的前提下模块参数能多大程度的回卷。
实验
实验是在wmt2014 english-german(en-de)和english-french(en-fr)两个机器翻译数据集上进行的，作者使用的transformer模型和transformer的那篇原始文献(vaswani et al.,2017)是一样的。transformer model 一共6层编码器和解码器，layer size是512，feed-forward sub-layer的size是2048，attention head的数值是8，dropout是0.1，initialization seed设置为1。
观察模块的重要性
上图是采用两种度量方式在两个数据集上的实验结果，其中x轴代表的是模块类型，y轴表示的是layer id。其中颜色越深就越重要。可以看出两种度量方式的结果很大程度上是一致的，比方说：
the decoder self-attention(d:sa)是最不重要的，而the decoder feed-forward layers(d:ff)是最重要的。
编码器里越靠前(e:sa和e:ff)和解码器里越靠后(d:ea和d:ff)是更重要的。这个其实很直观，因为这些模块离数据的输入和输出更近，所以对输入句子的理解和输出句子的生成要更加重要些。
在解码器里越靠后的encoder-attention(d:ea)layers要比之前的encoder-attention layers重要。
分析不重要的模块
更低的dropout比例和更多的训练数据会让不重要的模块变得更少（dropout是一种常见的用来防止过拟合的手段）。为了保证模型的效果，当我们使用dropout的时候其实说明模型本身有一定程度上的冗余。在不降低模型效果的前提下，小的dropout比例刚好说明模型的冗余越少，也就是不重要的模块更少。大规模的训练数据本身就自带更多的patterns。需要充分发挥transformer的各个模块才能有效地学习到。
从上面两张图可以明显的看出：当使用更小的dropout和更大的数据集时，颜色深的版块明显变得更多。此外之前所得到的结论这里依然成立。
区分和利用一批不重要的模块
之前的结果都是只删除一个模块得到，那我们一次性删除多个模块呢？
上图显示当我们删除3到4个不重要的模块时，模型效果并没有明显降低。但是当删的更多了之后，模型的效果会受到较大的影响。那么我们是否可以利用这些不怎么重要的模块去对模型进行优化呢？作者采用了两种方式：一个是模块剪枝，另一个是模块回卷。
模块剪枝就是将不重要的模块直接删掉，因为删掉了相应模块使得模型的参数变小，作为对比作者在相同参数量下使用了一个浅层的decoder模型结果如表：
可以看出剪枝后的模型要比同样参数下的浅层模型结果要好，而且也能达到和原始模型相应的效果，有的甚至更好(还真有)。
模块回卷就是将不重要的模块参数回卷到初始化状态，再和其他模块一起微调一下得到的训练结果要比原始模型好一点。
总结
我们可以利用contribution score和criticality score评价模型中各个模块的重要性，知晓了模块的重要性程度后我们可以对不重要的模块进行剪枝或者参数回卷都能在一定程度上让原有模型得到优化。
原文标题：我删掉了transformer中的这几层…性能反而变好了？
文章出处：【微信公众号：深度学习自然语言处理】欢迎添加关注！文章转载请注明出处。
华为自研的“鸿蒙”操作系统到底能不能取代安卓系统呢？
焦虑程序员怎样找到出路
回路损失在高清系统性能测试和检验中的考量
CXA1033P引脚功能及电压参数
华硕鹰眼3手机评测 拍照和续航方面非常出色
删掉Transformer中的这几层性能变好了？
锁相放大器降噪，为什么锁相放大器抗噪能力强？
智能安防可以在哪些领域落地
雷达传感器在自动驾驶技术中扮演重要角色
“5G+”的势头已在各行各业中慢慢体现出来
中国电信已领先中国联通，将成为中国移动的有力挑战者
绝压压力表的工作条件及主要技术指标
裕太微开启申购,募资13亿发力哪些领域？
PCB复合材料微小孔加工的方法解析
nRF24Z1无线语音开发板使用说明书
槟榔水分测定仪测试原理和注意事项
华为P20系列新色国内发布 创造时尚与科技融合的新美学经典
ATI Mobility Radeon 9700显示芯片
车联网安全进阶之Trick——Android车机运行Python
苹果寻求高通270亿美元赔偿 公司双方CEO将出庭
众所周知，一个完整的transformer结构可以切分成encoder-self attention(“e:sa”)， encoder-feed forward(“e:ff”)， decoder-self attention(“d:sa”)， decoder-encoder attention(“d:ea”) 和 decoder-feed forward(“d:ff”) 5个sub-layer结构。文中作者采用了两种度量方式确认这些sub-layer的重要程度。
方法稍后再谈，先上干货，实验结果表明：
decoder self-attention layers是最不重要的，而decoder feed-forward layers是最重要的；
离模型的输入和输出越近的sub-layer要比其他的重要些；
在decoder里越靠后的encoder-attention layer要比之前的重要。
这些结果对不同的度量方法，数据集，初始化种子以及模型容量都能保持一致性。
▲transformer结构图
模块重要性分析
所谓的重要性究竟是什么呢？论文认为，这主要包括两个方面：
contribution in information flow，对于模型信息流的贡献程度
criticality in representation generalization，模型的模块对参数的扰动表现出不同的鲁棒性
contribution in information flow
transformer 最初是用来做机器翻译任务的。所谓的information flow就是指数据如何从源语言经过transformer的encoder和decoder最终成为目标语言的。如何衡量模型的每个部分对information flow做出的贡献呢? 最直观的想法就是去掉那个部分看看同样条件下模型的效果如何。如果去掉那个部分，模型效果没什么变化，那就说明该部分没做什么贡献，反之，如果删掉该部分，模型效果显著降低则说明它贡献卓著，没它不行。作者采用了如下的量化方法：
公式中指的是去除第n个部分后模型整体的bleu得分降。为了避免出现重要性指数出现负值和爆炸性下跌，作者将的值设定在[0,c]之间(真的会出现负重要性指数吗？那样倒挺好——模型变小，效果更好)。然后通过除以最大的得分降将的值进行了归一化，这里作者设置的上限c值为基线模型的bleu得分的1/10.
criticality in representation generalization
这里说的criticality指的是模型的模块对参数的扰动表现出不同的鲁棒性。比方说，如果将某个模块的参数重置为初始化参数，模型的表现变差，那么这个模块就是critical的，否则就是non-critical的。有人在理论上将这个criticality给公式化了，而且他们表明这个criticality可以反映神经网络的泛化能力。
作者便是参考了这个工作，对网络的第n个模块，定义
即初始权重和最终权重的一个凸组合。
那么第n个部分的criticality score就可以表示为
这个式子定量的说明了criticality是最小的能使模型在阈值的情况下保持性能。这个值越小说明该模块越不重要，这里取的是 0.5 bleu分。
两种度量方法虽然都是基于模块对模型表现的影响的，但是又有不同之处。contribution score可以看成是 hard metric(完全删除模块)，而 criticality score可以看成是一种soft metric,它衡量的是在保证模型表现的前提下模块参数能多大程度的回卷。
实验
实验是在wmt2014 english-german(en-de)和english-french(en-fr)两个机器翻译数据集上进行的，作者使用的transformer模型和transformer的那篇原始文献(vaswani et al.,2017)是一样的。transformer model 一共6层编码器和解码器，layer size是512，feed-forward sub-layer的size是2048，attention head的数值是8，dropout是0.1，initialization seed设置为1。
观察模块的重要性
上图是采用两种度量方式在两个数据集上的实验结果，其中x轴代表的是模块类型，y轴表示的是layer id。其中颜色越深就越重要。可以看出两种度量方式的结果很大程度上是一致的，比方说：
the decoder self-attention(d:sa)是最不重要的，而the decoder feed-forward layers(d:ff)是最重要的。
编码器里越靠前(e:sa和e:ff)和解码器里越靠后(d:ea和d:ff)是更重要的。这个其实很直观，因为这些模块离数据的输入和输出更近，所以对输入句子的理解和输出句子的生成要更加重要些。
在解码器里越靠后的encoder-attention(d:ea)layers要比之前的encoder-attention layers重要。
分析不重要的模块
更低的dropout比例和更多的训练数据会让不重要的模块变得更少（dropout是一种常见的用来防止过拟合的手段）。为了保证模型的效果，当我们使用dropout的时候其实说明模型本身有一定程度上的冗余。在不降低模型效果的前提下，小的dropout比例刚好说明模型的冗余越少，也就是不重要的模块更少。大规模的训练数据本身就自带更多的patterns。需要充分发挥transformer的各个模块才能有效地学习到。
从上面两张图可以明显的看出：当使用更小的dropout和更大的数据集时，颜色深的版块明显变得更多。此外之前所得到的结论这里依然成立。
区分和利用一批不重要的模块
之前的结果都是只删除一个模块得到，那我们一次性删除多个模块呢？
上图显示当我们删除3到4个不重要的模块时，模型效果并没有明显降低。但是当删的更多了之后，模型的效果会受到较大的影响。那么我们是否可以利用这些不怎么重要的模块去对模型进行优化呢？作者采用了两种方式：一个是模块剪枝，另一个是模块回卷。
模块剪枝就是将不重要的模块直接删掉，因为删掉了相应模块使得模型的参数变小，作为对比作者在相同参数量下使用了一个浅层的decoder模型结果如表：
可以看出剪枝后的模型要比同样参数下的浅层模型结果要好，而且也能达到和原始模型相应的效果，有的甚至更好(还真有)。
模块回卷就是将不重要的模块参数回卷到初始化状态，再和其他模块一起微调一下得到的训练结果要比原始模型好一点。
总结
我们可以利用contribution score和criticality score评价模型中各个模块的重要性，知晓了模块的重要性程度后我们可以对不重要的模块进行剪枝或者参数回卷都能在一定程度上让原有模型得到优化。
原文标题：我删掉了transformer中的这几层…性能反而变好了？
文章出处：【微信公众号：深度学习自然语言处理】欢迎添加关注！文章转载请注明出处。
华为自研的“鸿蒙”操作系统到底能不能取代安卓系统呢？
焦虑程序员怎样找到出路
回路损失在高清系统性能测试和检验中的考量
CXA1033P引脚功能及电压参数
华硕鹰眼3手机评测 拍照和续航方面非常出色
删掉Transformer中的这几层性能变好了？
锁相放大器降噪，为什么锁相放大器抗噪能力强？
智能安防可以在哪些领域落地
雷达传感器在自动驾驶技术中扮演重要角色
“5G+”的势头已在各行各业中慢慢体现出来
中国电信已领先中国联通，将成为中国移动的有力挑战者
绝压压力表的工作条件及主要技术指标
裕太微开启申购,募资13亿发力哪些领域？
PCB复合材料微小孔加工的方法解析
nRF24Z1无线语音开发板使用说明书
槟榔水分测定仪测试原理和注意事项
华为P20系列新色国内发布 创造时尚与科技融合的新美学经典
ATI Mobility Radeon 9700显示芯片
车联网安全进阶之Trick——Android车机运行Python
苹果寻求高通270亿美元赔偿 公司双方CEO将出庭