深度分析NLP中的注意力机制
注意力机制越发频繁的出现在文献中，因此对注意力机制的学习、掌握与应用显得十分重要。本文便对注意力机制做了较为全面的综述。
近些年来，注意力机制一直频繁的出现在目之所及的文献或者博文中，可见在nlp中算得上是个相当流行的概念，事实也证明其在nlp领域散发出不小得作用。这几年的顶会paper就能看出这一点。本文深入浅出地介绍了近些年的自然语言中的注意力机制包括从起源、变体到评价指标方面。
本文便对nlp的注意力机制进行了综述。
目录
1.写在前面
2.seq2seq 模型
3.nlp中注意力机制起源
4.nlp中的注意力机制
5.hierarchical attention
6.self-attention
7.memory-based attention
8.soft/hard attention
9.global/local attention
10.评价指标
11.写在后面
12.参考文献
写在前面
据lilian weng博主[1]总结以及一些资料显示，attention机制最早应该是在视觉图像领域提出来的，这方面的工作应该很多，历史也比较悠久。人类的视觉注意力虽然存在很多不同的模型，但它们都基本上归结为给予需要重点关注的目标区域(注意力焦点)更重要的注意力，同时给予周围的图像低的注意力，然后随着时间的推移调整焦点。
而直到bahdanau等人[3]发表了论文《neural machine translation by jointly learning to align and translate》，该论文使用类似attention的机制在机器翻译任务上将翻译和对齐同时进行，这个工作目前是最被认可为是第一个提出attention机制应用到nlp领域中的工作，值得一提的是，该论文2015年被iclr录用，截至现在，谷歌引用量为5596，可见后续nlp在这一块的研究火爆程度。
注意力机制首先从人类直觉中得到，在nlp领域的机器翻译任务上首先取得不错的效果。简而言之，深度学习中的注意力可以广义地解释为重要性权重的向量：为了预测一个元素，例如句子中的单词，使用注意力向量来估计它与其他元素的相关程度有多强，并将其值的总和作为目标的近似值。既然注意力机制最早在nlp领域应用于机器翻译任务，那在这个之前又是怎么做的呢？
传统的基于短语的翻译系统通过将源句分成多个块然后逐个词地翻译它们来完成它们的任务，这导致了翻译输出的不流畅。不妨先来想想我们人类是如何翻译的？我们首先会阅读整个待翻译的句子，然后结合上下文理解其含义，最后产生翻译。
从某种程度上来说，神经机器翻译（nmt）的提出正是想去模仿这一过程。而在nmt的翻译模型中经典的做法是由编码器 - 解码器架构制定(encoder-decoder)，用作encoder和decoder常用的是循环神经网络。这类模型大概过程是首先将源句子的输入序列送入到编码器中，提取最后隐藏状态的表示并用于解码器的输入，然后一个接一个地生成目标单词，这个过程广义上可以理解为不断地将前一个时刻 t-1 的输出作为后一个时刻 t 的输入，循环解码，直到输出停止符为止。
通过这种方式，nmt解决了传统的基于短语的方法中的局部翻译问题：它可以捕获语言中的长距离依赖性，并提供更流畅的翻译。
但是这样做也存在很多缺点，譬如，rnn是健忘的，这意味着前面的信息在经过多个时间步骤传播后会被逐渐消弱乃至消失。其次，在解码期间没有进行对齐操作，因此在解码每个元素的过程中，焦点分散在整个序列中。对于前面那个问题，lstm、gru在一定程度能够缓解。而后者正是bahdanau等人重视的问题。
seq2seq模型
在介绍注意力模型之前，不得不先学习一波encoder-decoder框架，虽然说注意力模型可以看作一种通用的思想，本身并不依赖于特定框架（比如文章[15]：learning sentence representation with guidance of human attention），但是目前大多数注意力模型都伴随在encoder-decoder框架下。
seq2seq模型最早由bengio等人[17]论文《learning phrase representations using rnn encoder–decoder for statistical machine translation》。随后sutskever等人[16]在文章《sequence to sequence learning with neural networks》中提出改进模型即为目前常说的seq2seq模型。
从广义上讲，它的目的是将输入序列（源序列）转换为新的输出序列（目标序列），这种方式不会受限于两个序列的长度，换句话说，两个序列的长度可以任意。以nlp领域来说，序列可以是句子、段落、篇章等，所以我们也可以把它看作处理由一个句子（段落或篇章）生成另外一个句子（段落或篇章）的通用处理模型。
对于句子对，我们期望输入句子source，期待通过encoder-decoder框架来生成目标句子target。source和target可以是同一种语言，也可以是两种不同的语言，若是不同语言，就可以处理翻译问题了。若是相同语言，输入序列source长度为篇章，而目标序列target为小段落则可以处理文本摘要问题 (目标序列target为句子则可以处理标题生成问题)等等等。
seq2seq模型通常具有编码器 - 解码器架构:
编码器encoder: 编码器处理输入序列并将序列信息压缩成固定长度的上下文向量（语义编码/语义向量context）。期望这个向量能够比较好的表示输入序列的信息。
解码器decoder: 利用上下文向量初始化解码器以得到变换后的目标序列输出。早期工作仅使用编码器的最后状态作为解码器的输入。
编码器和解码器都是循环神经网络，比较常见的是使用lstm或gru。
编码器 - 解码器模型
nlp中注意力机制的起源
前面谈到在seq2seq结构中，encoder把所有的输入序列都编码成一个统一的语义向量context，然后再由decoder解码。而context自然也就成了限制模型性能的瓶颈。
譬如机器翻译问题，当要翻译的句子较长时，一个context可能存不下那么多信息。除此之外，只用编码器的最后一个隐藏层状态，感觉上都不是很合理。
实际上当我们翻译一个句子的时候，譬如：source: 机器学习-->target: machine learning。当decoder要生成machine的时候，应该更关注机器，而生成learning的时候，应该给予学习更大的权重。所以如果要改进seq2seq结构，一个不错的想法自然就是利用encoder所有隐藏层状态解决context限制问题。
bahdanau等人[3]把attention机制用到了神经网络机器翻译（nmt）上。传统的encoder-decoder模型通过encoder将source序列编码到一个固定维度的中间语义向量context，然后再使用decoder进行解码翻译到目标语言序列。前面谈到了这种做法的局限性，而且，bahdanau等人[3]在其文章的摘要中也说到这个context可能是提高这种基本编码器 - 解码器架构性能的瓶颈，那bahdanau等人又是如何尝试缓解这个问题的呢？ 别急，让我们来一探究竟。
作者为了缓解中间向量context很难将source序列所有重要信息压缩进来的问题，特别是对于那些很长的句子。提出在机器翻译任务上在 encoder–decoder 做出了如下扩展：将翻译和对齐联合学习。这个操作在生成target序列的每个词时，用到的中间语义向量context是source序列通过encoder的隐藏层的加权和，而传统的做法是只用encoder最后一个时刻输出作为context，这样就能保证在解码不同词的时候，source序列对现在解码词的贡献是不一样的。
想想前面那个例子：source: 机器学习-->target: machine learning (假如中文按照字切分)。decoder在解码machine时，机和器提供的权重要更大一些，同样，在解码learning时，学和习提供的权重相应的会更大一些，这在直觉也和人类翻译也是一致的。
通过这种attention的设计，作者将source序列的每个词(通过encoder的隐藏层输出)和target序列 (当前要翻译的词) 的每个词巧妙的建立了联系。想一想，翻译每个词的时候，都有一个语义向量，而这个语义向量是source序列每个词通过encoder之后的隐藏层的加权和。 由此可以得到一个source序列和target序列的对齐矩阵，通过可视化这个矩阵，可以看出在翻译一个词的时候，source序列的每个词对当前要翻译词的重要性分布，这在直觉上也能给人一种可解释性的感觉。
论文中的图也能很好的看出这一点：
生成第t个目标词
更形象一点可以看这个图：
现在让我们从公式层面来看看这个东东 (加粗变量表示它们是向量，这篇文章中的其他地方也一样)。 假设我们有一个长度为n的源序列x，并尝试输出长度为m的目标序列y：
作者采样bidirectional rnn作为encoder(实际上这里可以有很多选择)，具有前向隐藏状态和后向隐藏状态。为了获得词的上下文信息，作者采用简单串联方式将前向和后向表示拼接作为encoder的隐藏层状态，公式如下：
对于目标(输出)序列的每个词(假设位置为t)，decoder网络的隐藏层状态：
其中，语义向量 是源(输入)序列的隐藏状态的加权和，权重为对齐分数：
(注意：这里的score函数为原文的a函数，原文的描述为：is an alignment model)
对齐模型基于(在i时刻的输入)和(在t时刻的输出)的匹配程度分配分数。
在bahdanau[3]的论文中，作者采用的对齐模型为前馈神经网络，该网络与所提出的系统的所有其他组件共同训练。因此，score函数采用以下形式，tanh用作非线性激活函数，公式如下：
其中，和都是在对齐模型中学习的权重矩阵。对齐分数矩阵是一个很好的可解释性的东东，可以明确显示源词和目标词之间的相关性。
对齐矩阵例子
而decoder每个词的条件概率为：
g为非线性的，可能是多层的输出概率的函数，是rnn的隐藏状态, 为语义向量。
nlp中注意力机制
随着注意力机制的广泛应用，在某种程度上缓解了源序列和目标序列由于距离限制而难以建模依赖关系的问题。现在已经涌现出了一大批基于基本形式的注意力的不同变体来处理更复杂的任务。让我们一起来看看其在不同nlp问题中的注意力机制。
其实我们可能已经意识到了，对齐模型的设计不是唯一的，确实，在某种意义上说，根据不同的任务设计适应于特定任务的对齐模型可以看作设计出了新的attention变体，让我们再回过头来看看这个对齐模型(函数)：。再来看看几个代表性的work。
citation[5]等人提出content-base attention，其对齐函数模型设计为：
bahdanau[3]等人的additive(*)，其设计为：
luong[4]等人文献包含了几种方式：
以及luong[4]等人还尝试过location-based function:
这种方法的对齐分数仅从目标隐藏状态学习得到。
vaswani[6]等人的scaled dot-product(^)：
细心的童鞋可能早就发现了这东东和点积注意力很像，只是加了个scale factor。当输入较大时，softmax函数可能具有极小的梯度，难以有效学习，所以作者加入比例因子。
cheng[7]等人的self-attention(&)可以关联相同输入序列的不同位置。 从理论上讲，self-attention可以采用上面的任何 score functions。在一些文章中也称为“intra-attention” 。
hu[7]对此分了个类：
前面谈到的一些basic attention给人的感觉能够从序列中根据权重分布提取重要元素。而multi-dimensional attention能够捕获不同表示空间中的term之间的多个交互，这一点简单的实现可以通过直接将多个单维表示堆叠在一起构建。wang[8]等人提出了coupled multi-layer attentions，该模型属于多层注意力网络模型。作者称，通过这种多层方式，该模型可以进一步利用术语之间的间接关系，以获得更精确的信息。
再来看看hierarchical attention，yang[9]等人提出了hierarchical attention networks，看下面的图可能会更直观：
hierarchical attention networks
这种结构能够反映文档的层次结构。模型在单词和句子级别分别设计了两个不同级别的注意力机制，这样做能够在构建文档表示时区别地对待这些内容。hierarchical attention可以相应地构建分层注意力，自下而上（即，词级到句子级）或自上而下（词级到字符级），以提取全局和本地的重要信息。自下而上的方法上面刚谈完。那么自上而下又是如何做的呢？让我们看看ji[10]等人的模型：
nested attention hybrid model
和机器翻译类似，作者依旧采用encoder-decoder架构，然后用word-level attention对全局语法和流畅性纠错，设计character-level attention对本地拼写错误纠正。
self-attention
那self-attention又是指什么呢？
self-attention(自注意力)，也称为intra-attention(内部注意力)，是关联单个序列的不同位置的注意力机制，以便计算序列的交互表示。它已被证明在很多领域十分有效比如机器阅读，文本摘要或图像描述生成。
比如cheng[11]等人在机器阅读里面利用了自注意力。当前单词为红色，蓝色阴影的大小表示激活程度，自注意力机制使得能够学习当前单词和句子前一部分词之间的相关性。
当前单词为红色，蓝色阴影的大小表示激活程度
比如xu[12]等人利用自注意力在图像描述生成任务。注意力权重的可视化清楚地表明了模型关注的图像的哪些区域以便输出某个单词。
我们假设序列元素为，其匹配向量为。让我们再来回顾下前面说的基本注意力的对齐函数，attention score通过计算得到，由于是通过将外部u与每个元素匹配来计算注意力，所以这种形式可以看作是外部注意力。当我们把外部u替换成序列本身(或部分本身)，这种形式就可以看作为内部注意力(internal attention)。
我们根据文章[7]中的例子来看看这个过程，例如句子:volleyball match is in progress between ladies。句子中其它单词都依赖着match，理想情况下，我们希望使用自注意力来自动捕获这种内在依赖。换句话说，自注意力可以解释为，每个单词去和v序列中的内部模式匹配，匹配函数。很自然的选择为v中其它单词 ，这样遍可以计算成对注意力得分。为了完全捕捉序列中单词之间的复杂相互作用，我们可以进一步扩展它以计算序列中每对单词之间的注意力。这种方式让每个单词和序列中其它单词交互了关系。
另一方面，自注意力还可以自适应方式学习复杂的上下文单词表示。譬如经典文章[14]：a structured self-attentive sentence embedding。这篇文章提出了一种通过引入自关注力机制来提取可解释句子嵌入的新模型。 使用二维矩阵而不是向量来代表嵌入，矩阵的每一行都在句子的不同部分，想深入了解的可以去看看这篇文章，另外，文章的公式感觉真的很漂亮。
值得一提还有2017年谷歌提出的transformer[6]，这是一种新颖的基于注意力的机器翻译架构，也是一个混合神经网络，具有前馈层和自注意层。论文的题目挺霸气：attention is all you need，毫无疑问，它是2017年最具影响力和最有趣的论文之一。那这篇文章的transformer的庐山真面目到底是这样的呢？
这篇文章为提出许多改进，在完全抛弃了rnn的情况下进行seq2seq建模。接下来一起来详细看看吧。
key，value and query
众所周知，在nlp任务中，通常的处理方法是先分词，然后每个词转化为对应的词向量。接着一般最常见的有二类操作，第一类是接rnn（变体lstm、gru、sru等），但是这一类方法没有摆脱时序这个局限，也就是说无法并行，也导致了在大数据集上的速度效率问题。第二类是接cnn，cnn方便并行，而且容易捕捉到一些全局的结构信息。很长一段时间都是以上二种的抉择以及改造，直到谷歌提供了第三类思路：纯靠注意力，也就是现在要讲的这个东东。
将输入序列编码表示视为一组键值对（k，v）以及查询 q，因为文章[6]取k=v=q，所以也自然称为self attention。
k, v像是key-value的关系从而是一一对应的，那么上式的意思就是通过q中每个元素query，与k中各个元素求内积然后softmax的方式，来得到q中元素与v中元素的相似度，然后加权求和，得到一个新的向量。其中因子为了使得内积不至于太大。以上公式在文中也称为点积注意力(scaled dot-product attention)：输出是值的加权和，其中分配给每个值的权重由查询的点积与所有键确定。
而transformer主要由多头自注意力(multi-head self-attention)单元组成。那么multi-head self-attention又是什么呢？以下为论文中的图：
multi-head scaled dot-product attention mechanism
multi-head self-attention不是仅仅计算一次注意力，而是多次并行地通过缩放的点积注意力。 独立的注意力输出被简单地连接并线性地转换成预期的维度。论文[6]表示，多头注意力允许模型共同关注来自不同位置的不同表示子空间的信息。 只有一个注意力的头，平均值就会抑制这一点。
是需要学习的参数矩阵。既然为seq2seq模式，自然也包括encoder和decoder，那这篇文章又是如何构建这些的呢？莫急，请继续往下看。
encoder
the transformer's encoder
编码器生成基于自注意力的表示，其能够从可能无限大的上下文中定位特定信息。值得一提的是，上面的结构文章堆了六个。
每层都有一个多头自注意力层
每层都有一个简单的全连接的前馈网络
每个子层采用残差连接和层规范化。 所有子层输出相同维度dmodel = 512。
decoder
the transformer's decoder.
解码器能够从编码表示中检索。上面的结构也堆了六个。
每层有两个多头注意机制子层。
每层有一个完全连接的前馈网络子层。
与编码器类似，每个子层采用残差连接和层规范化。
与encoder不同的是，第一个多头注意子层被设计成防止关注后续位置，因为我们不希望在预测当前位置时查看目标序列的未来。最后来看一看整体架构：
the full model architecture of the transformer.
memory-based attention
那memory-based attention又是什么呢？我们先换种方式来看前面的注意力，假设有一系列的键值对 存在内存中和查询向量q，这样便能重写为以下过程：
这种解释是把注意力作为使用查询q的寻址过程，这个过程基于注意力分数从memory中读取内容。聪明的童鞋肯定已经发现了，如果我们假设，这不就是前面谈到的基础注意力么？然而，由于结合了额外的函数，可以实现可重用性和增加灵活性，所以memory-based attention mechanism可以设计得更加强大。
那为什么又要这样做呢？在nlp的一些任务上比如问答匹配任务，答案往往与问题间接相关，因此基本的注意力技术就显得很无力了。那处理这一任务该如何做才好呢？这个时候就体现了memory-based attention mechanism的强大了，譬如sukhbaatar[19]等人通过迭代内存更新（也称为多跳）来模拟时间推理过程，以逐步引导注意到答案的正确位置：
在每次迭代中，使用新内容更新查询，并且使用更新的查询来检索相关内容。一种简单的更新方法为相加。那么还有其它更新方法么？
当然有，直觉敏感的童鞋肯定想到了，光是这一点，就可以根据特定任务去设计，比如kuma[13]等人的工作。这种方式的灵活度也体现在key和value可以自由的被设计，比如我们可以自由地将先验知识结合到key和value嵌入中，以允许它们分别更好地捕获相关信息。看到这里是不是觉得文章灌水其实也不是什么难事了。
soft/hard attention
最后想再谈谈soft/hard attention，是因为在很多地方都看到了这个名词。
据我所知，这个概念由《show, attend and tell: neural image caption generation with visual attention》提出，这是对attention另一种分类。softattention本质上和bahdanau等人[3]很相似，其权重取值在0到1之间，而hard attention取值为0或者1。
global/local attention
luong等人[4]提出了global attention和local attention。global attention本质上和bahdanau等人[3]很相似。global方法顾名思义就是会关注源句子序列的所有词，具体地说，在计算语义向量时，会考虑编码器所有的隐藏状态。而在local attention中，计算语义向量时只关注每个目标词的一部分编码器隐藏状态。由于global方法必须计算源句子序列所有隐藏状态，当句子长度过长会使得计算代价昂贵并使得翻译变得不太实际，比如在翻译段落和文档的时候。
评价指标
在看一些带有attention的paper时，常常会伴随着为了说明自己文章attention是work的实验，但实际上尝试提供严格数学证明的文章极少。
hu[7]把attention的评价方式分为两类，quantitative（定量指标）和qualitative（定性指标）。定量指标顾名思义就是对attention的贡献就行量化，这一方面一般会结合下游任务，最常见的当属机器翻译，我们都知道机器翻译的最流行评价指标之一是bleu，我们可以在翻译任务设计attention和不加attention进行对比，对比的指标就是bleu，设置我们可以设计多种不同的attention进行对比。
定性指标评价是目前应用最广泛的评价技术，因为它简单易行，便于可视化。具体做法一般都是为整个句子构建一个热力图，其热力图强度与每个单词接收到的标准化注意力得分成正比。也就是说，词的贡献越大，颜色越深。其实这在直觉上也是能够接收的，因为往往相关任务的关键词的attention权值肯定要比其它词重要。比如hu[7]文中的图：
写在后面
本文参考了众多文献，对近些年的自然语言中的注意力机制从起源、变体到评价方面都进行了简要介绍，但是要明白的是，实际上注意力机制在nlp上的研究特别多，为此，我仅仅对18、19年的文献进行了简单的调研（aaai、ijcai、acl、emnlp、naacl等顶会），就至少有一百篇之多，足见attention还是很潮的，所以我也把链接放到了我的github上。
工作频率72MHZ的海速芯32位MCU TM32F103K7用于信号隔离采集器设计，可P2P替换STM32F103CBT6
截杀小米6， 格力手机3代将至
华为海思的麒麟950到底新在哪儿？
PIC单片机和AVR单片机IO的操作方法解析
定位型振动光纤边境线入侵报警系统
深度分析NLP中的注意力机制
SCR后处理系统故障确认与注意事项
PTC和PT100保护电机的方法
自制头部追踪器教程
集成功率放大器电路图
孤注一掷在VR，但是HTC Vive在中国真的会成功吗？
现在关于5G技术有哪些10个误解你了解吗
新能源电瓶—简单精确检测电池
上海集成电路产业启动,预计2025年实现产业规模1000亿元
京东方全球创新伙伴大会·2020盛大开幕
三星45W快充下放 GalaxyA91将支持45W快充
任天堂Switch上架三款“官方认证闪迪内存卡” 售价139元起
增量式编码器接口电路及其FPGA设计方案
电子计数器电路图解析
复兴伟业：为什么电子离心开关能完胜机械离心开关？
近些年来，注意力机制一直频繁的出现在目之所及的文献或者博文中，可见在nlp中算得上是个相当流行的概念，事实也证明其在nlp领域散发出不小得作用。这几年的顶会paper就能看出这一点。本文深入浅出地介绍了近些年的自然语言中的注意力机制包括从起源、变体到评价指标方面。
本文便对nlp的注意力机制进行了综述。
目录
1.写在前面
2.seq2seq 模型
3.nlp中注意力机制起源
4.nlp中的注意力机制
5.hierarchical attention
6.self-attention
7.memory-based attention
8.soft/hard attention
9.global/local attention
10.评价指标
11.写在后面
12.参考文献
写在前面
据lilian weng博主[1]总结以及一些资料显示，attention机制最早应该是在视觉图像领域提出来的，这方面的工作应该很多，历史也比较悠久。人类的视觉注意力虽然存在很多不同的模型，但它们都基本上归结为给予需要重点关注的目标区域(注意力焦点)更重要的注意力，同时给予周围的图像低的注意力，然后随着时间的推移调整焦点。
而直到bahdanau等人[3]发表了论文《neural machine translation by jointly learning to align and translate》，该论文使用类似attention的机制在机器翻译任务上将翻译和对齐同时进行，这个工作目前是最被认可为是第一个提出attention机制应用到nlp领域中的工作，值得一提的是，该论文2015年被iclr录用，截至现在，谷歌引用量为5596，可见后续nlp在这一块的研究火爆程度。
注意力机制首先从人类直觉中得到，在nlp领域的机器翻译任务上首先取得不错的效果。简而言之，深度学习中的注意力可以广义地解释为重要性权重的向量：为了预测一个元素，例如句子中的单词，使用注意力向量来估计它与其他元素的相关程度有多强，并将其值的总和作为目标的近似值。既然注意力机制最早在nlp领域应用于机器翻译任务，那在这个之前又是怎么做的呢？
传统的基于短语的翻译系统通过将源句分成多个块然后逐个词地翻译它们来完成它们的任务，这导致了翻译输出的不流畅。不妨先来想想我们人类是如何翻译的？我们首先会阅读整个待翻译的句子，然后结合上下文理解其含义，最后产生翻译。
从某种程度上来说，神经机器翻译（nmt）的提出正是想去模仿这一过程。而在nmt的翻译模型中经典的做法是由编码器 - 解码器架构制定(encoder-decoder)，用作encoder和decoder常用的是循环神经网络。这类模型大概过程是首先将源句子的输入序列送入到编码器中，提取最后隐藏状态的表示并用于解码器的输入，然后一个接一个地生成目标单词，这个过程广义上可以理解为不断地将前一个时刻 t-1 的输出作为后一个时刻 t 的输入，循环解码，直到输出停止符为止。
通过这种方式，nmt解决了传统的基于短语的方法中的局部翻译问题：它可以捕获语言中的长距离依赖性，并提供更流畅的翻译。
但是这样做也存在很多缺点，譬如，rnn是健忘的，这意味着前面的信息在经过多个时间步骤传播后会被逐渐消弱乃至消失。其次，在解码期间没有进行对齐操作，因此在解码每个元素的过程中，焦点分散在整个序列中。对于前面那个问题，lstm、gru在一定程度能够缓解。而后者正是bahdanau等人重视的问题。
seq2seq模型
在介绍注意力模型之前，不得不先学习一波encoder-decoder框架，虽然说注意力模型可以看作一种通用的思想，本身并不依赖于特定框架（比如文章[15]：learning sentence representation with guidance of human attention），但是目前大多数注意力模型都伴随在encoder-decoder框架下。
seq2seq模型最早由bengio等人[17]论文《learning phrase representations using rnn encoder–decoder for statistical machine translation》。随后sutskever等人[16]在文章《sequence to sequence learning with neural networks》中提出改进模型即为目前常说的seq2seq模型。
从广义上讲，它的目的是将输入序列（源序列）转换为新的输出序列（目标序列），这种方式不会受限于两个序列的长度，换句话说，两个序列的长度可以任意。以nlp领域来说，序列可以是句子、段落、篇章等，所以我们也可以把它看作处理由一个句子（段落或篇章）生成另外一个句子（段落或篇章）的通用处理模型。
对于句子对，我们期望输入句子source，期待通过encoder-decoder框架来生成目标句子target。source和target可以是同一种语言，也可以是两种不同的语言，若是不同语言，就可以处理翻译问题了。若是相同语言，输入序列source长度为篇章，而目标序列target为小段落则可以处理文本摘要问题 (目标序列target为句子则可以处理标题生成问题)等等等。
seq2seq模型通常具有编码器 - 解码器架构:
编码器encoder: 编码器处理输入序列并将序列信息压缩成固定长度的上下文向量（语义编码/语义向量context）。期望这个向量能够比较好的表示输入序列的信息。
解码器decoder: 利用上下文向量初始化解码器以得到变换后的目标序列输出。早期工作仅使用编码器的最后状态作为解码器的输入。
编码器和解码器都是循环神经网络，比较常见的是使用lstm或gru。
编码器 - 解码器模型
nlp中注意力机制的起源
前面谈到在seq2seq结构中，encoder把所有的输入序列都编码成一个统一的语义向量context，然后再由decoder解码。而context自然也就成了限制模型性能的瓶颈。
譬如机器翻译问题，当要翻译的句子较长时，一个context可能存不下那么多信息。除此之外，只用编码器的最后一个隐藏层状态，感觉上都不是很合理。
实际上当我们翻译一个句子的时候，譬如：source: 机器学习-->target: machine learning。当decoder要生成machine的时候，应该更关注机器，而生成learning的时候，应该给予学习更大的权重。所以如果要改进seq2seq结构，一个不错的想法自然就是利用encoder所有隐藏层状态解决context限制问题。
bahdanau等人[3]把attention机制用到了神经网络机器翻译（nmt）上。传统的encoder-decoder模型通过encoder将source序列编码到一个固定维度的中间语义向量context，然后再使用decoder进行解码翻译到目标语言序列。前面谈到了这种做法的局限性，而且，bahdanau等人[3]在其文章的摘要中也说到这个context可能是提高这种基本编码器 - 解码器架构性能的瓶颈，那bahdanau等人又是如何尝试缓解这个问题的呢？ 别急，让我们来一探究竟。
作者为了缓解中间向量context很难将source序列所有重要信息压缩进来的问题，特别是对于那些很长的句子。提出在机器翻译任务上在 encoder–decoder 做出了如下扩展：将翻译和对齐联合学习。这个操作在生成target序列的每个词时，用到的中间语义向量context是source序列通过encoder的隐藏层的加权和，而传统的做法是只用encoder最后一个时刻输出作为context，这样就能保证在解码不同词的时候，source序列对现在解码词的贡献是不一样的。
想想前面那个例子：source: 机器学习-->target: machine learning (假如中文按照字切分)。decoder在解码machine时，机和器提供的权重要更大一些，同样，在解码learning时，学和习提供的权重相应的会更大一些，这在直觉也和人类翻译也是一致的。
通过这种attention的设计，作者将source序列的每个词(通过encoder的隐藏层输出)和target序列 (当前要翻译的词) 的每个词巧妙的建立了联系。想一想，翻译每个词的时候，都有一个语义向量，而这个语义向量是source序列每个词通过encoder之后的隐藏层的加权和。 由此可以得到一个source序列和target序列的对齐矩阵，通过可视化这个矩阵，可以看出在翻译一个词的时候，source序列的每个词对当前要翻译词的重要性分布，这在直觉上也能给人一种可解释性的感觉。
论文中的图也能很好的看出这一点：
生成第t个目标词
更形象一点可以看这个图：
现在让我们从公式层面来看看这个东东 (加粗变量表示它们是向量，这篇文章中的其他地方也一样)。 假设我们有一个长度为n的源序列x，并尝试输出长度为m的目标序列y：
作者采样bidirectional rnn作为encoder(实际上这里可以有很多选择)，具有前向隐藏状态和后向隐藏状态。为了获得词的上下文信息，作者采用简单串联方式将前向和后向表示拼接作为encoder的隐藏层状态，公式如下：
对于目标(输出)序列的每个词(假设位置为t)，decoder网络的隐藏层状态：
其中，语义向量 是源(输入)序列的隐藏状态的加权和，权重为对齐分数：
(注意：这里的score函数为原文的a函数，原文的描述为：is an alignment model)
对齐模型基于(在i时刻的输入)和(在t时刻的输出)的匹配程度分配分数。
在bahdanau[3]的论文中，作者采用的对齐模型为前馈神经网络，该网络与所提出的系统的所有其他组件共同训练。因此，score函数采用以下形式，tanh用作非线性激活函数，公式如下：
其中，和都是在对齐模型中学习的权重矩阵。对齐分数矩阵是一个很好的可解释性的东东，可以明确显示源词和目标词之间的相关性。
对齐矩阵例子
而decoder每个词的条件概率为：
g为非线性的，可能是多层的输出概率的函数，是rnn的隐藏状态, 为语义向量。
nlp中注意力机制
随着注意力机制的广泛应用，在某种程度上缓解了源序列和目标序列由于距离限制而难以建模依赖关系的问题。现在已经涌现出了一大批基于基本形式的注意力的不同变体来处理更复杂的任务。让我们一起来看看其在不同nlp问题中的注意力机制。
其实我们可能已经意识到了，对齐模型的设计不是唯一的，确实，在某种意义上说，根据不同的任务设计适应于特定任务的对齐模型可以看作设计出了新的attention变体，让我们再回过头来看看这个对齐模型(函数)：。再来看看几个代表性的work。
citation[5]等人提出content-base attention，其对齐函数模型设计为：
bahdanau[3]等人的additive(*)，其设计为：
luong[4]等人文献包含了几种方式：
以及luong[4]等人还尝试过location-based function:
这种方法的对齐分数仅从目标隐藏状态学习得到。
vaswani[6]等人的scaled dot-product(^)：
细心的童鞋可能早就发现了这东东和点积注意力很像，只是加了个scale factor。当输入较大时，softmax函数可能具有极小的梯度，难以有效学习，所以作者加入比例因子。
cheng[7]等人的self-attention(&)可以关联相同输入序列的不同位置。 从理论上讲，self-attention可以采用上面的任何 score functions。在一些文章中也称为“intra-attention” 。
hu[7]对此分了个类：
前面谈到的一些basic attention给人的感觉能够从序列中根据权重分布提取重要元素。而multi-dimensional attention能够捕获不同表示空间中的term之间的多个交互，这一点简单的实现可以通过直接将多个单维表示堆叠在一起构建。wang[8]等人提出了coupled multi-layer attentions，该模型属于多层注意力网络模型。作者称，通过这种多层方式，该模型可以进一步利用术语之间的间接关系，以获得更精确的信息。
再来看看hierarchical attention，yang[9]等人提出了hierarchical attention networks，看下面的图可能会更直观：
hierarchical attention networks
这种结构能够反映文档的层次结构。模型在单词和句子级别分别设计了两个不同级别的注意力机制，这样做能够在构建文档表示时区别地对待这些内容。hierarchical attention可以相应地构建分层注意力，自下而上（即，词级到句子级）或自上而下（词级到字符级），以提取全局和本地的重要信息。自下而上的方法上面刚谈完。那么自上而下又是如何做的呢？让我们看看ji[10]等人的模型：
nested attention hybrid model
和机器翻译类似，作者依旧采用encoder-decoder架构，然后用word-level attention对全局语法和流畅性纠错，设计character-level attention对本地拼写错误纠正。
self-attention
那self-attention又是指什么呢？
self-attention(自注意力)，也称为intra-attention(内部注意力)，是关联单个序列的不同位置的注意力机制，以便计算序列的交互表示。它已被证明在很多领域十分有效比如机器阅读，文本摘要或图像描述生成。
比如cheng[11]等人在机器阅读里面利用了自注意力。当前单词为红色，蓝色阴影的大小表示激活程度，自注意力机制使得能够学习当前单词和句子前一部分词之间的相关性。
当前单词为红色，蓝色阴影的大小表示激活程度
比如xu[12]等人利用自注意力在图像描述生成任务。注意力权重的可视化清楚地表明了模型关注的图像的哪些区域以便输出某个单词。
我们假设序列元素为，其匹配向量为。让我们再来回顾下前面说的基本注意力的对齐函数，attention score通过计算得到，由于是通过将外部u与每个元素匹配来计算注意力，所以这种形式可以看作是外部注意力。当我们把外部u替换成序列本身(或部分本身)，这种形式就可以看作为内部注意力(internal attention)。
我们根据文章[7]中的例子来看看这个过程，例如句子:volleyball match is in progress between ladies。句子中其它单词都依赖着match，理想情况下，我们希望使用自注意力来自动捕获这种内在依赖。换句话说，自注意力可以解释为，每个单词去和v序列中的内部模式匹配，匹配函数。很自然的选择为v中其它单词 ，这样遍可以计算成对注意力得分。为了完全捕捉序列中单词之间的复杂相互作用，我们可以进一步扩展它以计算序列中每对单词之间的注意力。这种方式让每个单词和序列中其它单词交互了关系。
另一方面，自注意力还可以自适应方式学习复杂的上下文单词表示。譬如经典文章[14]：a structured self-attentive sentence embedding。这篇文章提出了一种通过引入自关注力机制来提取可解释句子嵌入的新模型。 使用二维矩阵而不是向量来代表嵌入，矩阵的每一行都在句子的不同部分，想深入了解的可以去看看这篇文章，另外，文章的公式感觉真的很漂亮。
值得一提还有2017年谷歌提出的transformer[6]，这是一种新颖的基于注意力的机器翻译架构，也是一个混合神经网络，具有前馈层和自注意层。论文的题目挺霸气：attention is all you need，毫无疑问，它是2017年最具影响力和最有趣的论文之一。那这篇文章的transformer的庐山真面目到底是这样的呢？
这篇文章为提出许多改进，在完全抛弃了rnn的情况下进行seq2seq建模。接下来一起来详细看看吧。
key，value and query
众所周知，在nlp任务中，通常的处理方法是先分词，然后每个词转化为对应的词向量。接着一般最常见的有二类操作，第一类是接rnn（变体lstm、gru、sru等），但是这一类方法没有摆脱时序这个局限，也就是说无法并行，也导致了在大数据集上的速度效率问题。第二类是接cnn，cnn方便并行，而且容易捕捉到一些全局的结构信息。很长一段时间都是以上二种的抉择以及改造，直到谷歌提供了第三类思路：纯靠注意力，也就是现在要讲的这个东东。
将输入序列编码表示视为一组键值对（k，v）以及查询 q，因为文章[6]取k=v=q，所以也自然称为self attention。
k, v像是key-value的关系从而是一一对应的，那么上式的意思就是通过q中每个元素query，与k中各个元素求内积然后softmax的方式，来得到q中元素与v中元素的相似度，然后加权求和，得到一个新的向量。其中因子为了使得内积不至于太大。以上公式在文中也称为点积注意力(scaled dot-product attention)：输出是值的加权和，其中分配给每个值的权重由查询的点积与所有键确定。
而transformer主要由多头自注意力(multi-head self-attention)单元组成。那么multi-head self-attention又是什么呢？以下为论文中的图：
multi-head scaled dot-product attention mechanism
multi-head self-attention不是仅仅计算一次注意力，而是多次并行地通过缩放的点积注意力。 独立的注意力输出被简单地连接并线性地转换成预期的维度。论文[6]表示，多头注意力允许模型共同关注来自不同位置的不同表示子空间的信息。 只有一个注意力的头，平均值就会抑制这一点。
是需要学习的参数矩阵。既然为seq2seq模式，自然也包括encoder和decoder，那这篇文章又是如何构建这些的呢？莫急，请继续往下看。
encoder
the transformer's encoder
编码器生成基于自注意力的表示，其能够从可能无限大的上下文中定位特定信息。值得一提的是，上面的结构文章堆了六个。
每层都有一个多头自注意力层
每层都有一个简单的全连接的前馈网络
每个子层采用残差连接和层规范化。 所有子层输出相同维度dmodel = 512。
decoder
the transformer's decoder.
解码器能够从编码表示中检索。上面的结构也堆了六个。
每层有两个多头注意机制子层。
每层有一个完全连接的前馈网络子层。
与编码器类似，每个子层采用残差连接和层规范化。
与encoder不同的是，第一个多头注意子层被设计成防止关注后续位置，因为我们不希望在预测当前位置时查看目标序列的未来。最后来看一看整体架构：
the full model architecture of the transformer.
memory-based attention
那memory-based attention又是什么呢？我们先换种方式来看前面的注意力，假设有一系列的键值对 存在内存中和查询向量q，这样便能重写为以下过程：
这种解释是把注意力作为使用查询q的寻址过程，这个过程基于注意力分数从memory中读取内容。聪明的童鞋肯定已经发现了，如果我们假设，这不就是前面谈到的基础注意力么？然而，由于结合了额外的函数，可以实现可重用性和增加灵活性，所以memory-based attention mechanism可以设计得更加强大。
那为什么又要这样做呢？在nlp的一些任务上比如问答匹配任务，答案往往与问题间接相关，因此基本的注意力技术就显得很无力了。那处理这一任务该如何做才好呢？这个时候就体现了memory-based attention mechanism的强大了，譬如sukhbaatar[19]等人通过迭代内存更新（也称为多跳）来模拟时间推理过程，以逐步引导注意到答案的正确位置：
在每次迭代中，使用新内容更新查询，并且使用更新的查询来检索相关内容。一种简单的更新方法为相加。那么还有其它更新方法么？
当然有，直觉敏感的童鞋肯定想到了，光是这一点，就可以根据特定任务去设计，比如kuma[13]等人的工作。这种方式的灵活度也体现在key和value可以自由的被设计，比如我们可以自由地将先验知识结合到key和value嵌入中，以允许它们分别更好地捕获相关信息。看到这里是不是觉得文章灌水其实也不是什么难事了。
soft/hard attention
最后想再谈谈soft/hard attention，是因为在很多地方都看到了这个名词。
据我所知，这个概念由《show, attend and tell: neural image caption generation with visual attention》提出，这是对attention另一种分类。softattention本质上和bahdanau等人[3]很相似，其权重取值在0到1之间，而hard attention取值为0或者1。
global/local attention
luong等人[4]提出了global attention和local attention。global attention本质上和bahdanau等人[3]很相似。global方法顾名思义就是会关注源句子序列的所有词，具体地说，在计算语义向量时，会考虑编码器所有的隐藏状态。而在local attention中，计算语义向量时只关注每个目标词的一部分编码器隐藏状态。由于global方法必须计算源句子序列所有隐藏状态，当句子长度过长会使得计算代价昂贵并使得翻译变得不太实际，比如在翻译段落和文档的时候。
评价指标
在看一些带有attention的paper时，常常会伴随着为了说明自己文章attention是work的实验，但实际上尝试提供严格数学证明的文章极少。
hu[7]把attention的评价方式分为两类，quantitative（定量指标）和qualitative（定性指标）。定量指标顾名思义就是对attention的贡献就行量化，这一方面一般会结合下游任务，最常见的当属机器翻译，我们都知道机器翻译的最流行评价指标之一是bleu，我们可以在翻译任务设计attention和不加attention进行对比，对比的指标就是bleu，设置我们可以设计多种不同的attention进行对比。
定性指标评价是目前应用最广泛的评价技术，因为它简单易行，便于可视化。具体做法一般都是为整个句子构建一个热力图，其热力图强度与每个单词接收到的标准化注意力得分成正比。也就是说，词的贡献越大，颜色越深。其实这在直觉上也是能够接收的，因为往往相关任务的关键词的attention权值肯定要比其它词重要。比如hu[7]文中的图：
写在后面
本文参考了众多文献，对近些年的自然语言中的注意力机制从起源、变体到评价方面都进行了简要介绍，但是要明白的是，实际上注意力机制在nlp上的研究特别多，为此，我仅仅对18、19年的文献进行了简单的调研（aaai、ijcai、acl、emnlp、naacl等顶会），就至少有一百篇之多，足见attention还是很潮的，所以我也把链接放到了我的github上。
工作频率72MHZ的海速芯32位MCU TM32F103K7用于信号隔离采集器设计，可P2P替换STM32F103CBT6
截杀小米6， 格力手机3代将至
华为海思的麒麟950到底新在哪儿？
PIC单片机和AVR单片机IO的操作方法解析
定位型振动光纤边境线入侵报警系统
深度分析NLP中的注意力机制
SCR后处理系统故障确认与注意事项
PTC和PT100保护电机的方法
自制头部追踪器教程
集成功率放大器电路图
孤注一掷在VR，但是HTC Vive在中国真的会成功吗？
现在关于5G技术有哪些10个误解你了解吗
新能源电瓶—简单精确检测电池
上海集成电路产业启动,预计2025年实现产业规模1000亿元
京东方全球创新伙伴大会·2020盛大开幕
三星45W快充下放 GalaxyA91将支持45W快充
任天堂Switch上架三款“官方认证闪迪内存卡” 售价139元起
增量式编码器接口电路及其FPGA设计方案
电子计数器电路图解析
复兴伟业：为什么电子离心开关能完胜机械离心开关？