放弃 RNN 和 LSTM 吧，它们真的不好用
2014 年 rnn/lstm 起死回生。自此，rnn/lstm 及其变种逐渐被广大用户接受和认可。起初，lstm 和 rnn 只是一种解决序列学习和序列翻译问题的方法（seq2seq），随后被用于语音识别并有很好的效果，比如 siri，cortana，alexa 等；此外，这种技术在机器翻译领域也有应用，比如 google translate。
2015-2016 年，新的 resnet 和 attention 技术出现。实际上，我们可以将 lstm 理解为一种巧妙地 bypass technique，而 attention 的成功表明了 mlp（多层感知器）网络可以被上下文向量影响的平均网络（averaging network）所替代。
两年过去了，我们现在已经可以给出结论：
放弃 rnn 和 lstm 吧，它们真的不好用
基于 attention 的网络逐渐被越来越多的企业采用，比如 google，facebook，salesforce 等公司都已经开始用基于attention的模型来替换rnn和其变种。rnn 在各种应用场景下时日无多，因为相比基于 attention 的模型，rnn 需要更多的资源来训练和运行。
编者注：训练 rnn 和 lstm 是非常困难的，因为计算能力受到内存和带宽等的约束。这同时也是硬件设计者的噩梦，并最终限制了神经网络解决方案的适用性。简而言之，每个 lstm 单元需要 4 个线性层（mlp 层），以便每个顺序时间步运行一次。线性层需要大量的内存带宽才能执行计算；由于系统没有足够的内存带宽将数据馈送到计算单元，实际上它们无法使用许多计算单元。添加更多的计算单元很容易，但添加更多的内存带宽却很难。因此，rnn/lstm 及其变种并不和硬件加速非常匹配，一个可能的解决方案就是让计算在存储器设备中完成。
为什么 rnn/lstm 真的不好用？
rnn，lstm及其变种主要使用序列处理，如下图所示：
图1 rnn中的序列处理
图中的箭头表示长期信息在进入当前的处理单元前需要有序地进入所有其他的处理单元。也就是说，这很容易通过多次乘小于 0 的数字来进行破坏和攻击，这就是梯度消失的原因。
梯度消失可以利用 lstm 模块来补救，目前的 lstm 可是看作是多交换网关，有点像 resnet。因为 lstm 可以绕过一些单元，对长时间的步骤进行记忆，因此 lstm 可以一定程度上解决梯度消失的问题。
图2 lstm中的序列处理
从图2可以看出，从前面的单元传递来当前单元的序列路径依然存在。事实上，因为这条路径会不断添加并且会遗忘与之相关的路径分支，它会变得越来越复杂。lstm、gru 及其变体能学习大量的长期信息，但它们最多只能记住约 100s 的长期信息，而不是 1000s，10000s 甚至更长时间的信息。
rnn 还有一个问题就是并不与所有硬件兼容。如果要快速训练 rnn，那么就需要大量的计算资源，而这正是我们缺少的。如果在云上运行 rnn 模型的话，也会消耗比其他模型更多的资源。随着语音转文本需求的快速增长，云端的扩展也变得更加困难。
你需要做些什么？
因为大多数时间我们处理的都是实时的因果数据（casual data），我们想利用这些已知的数据来为之后的决策做准备。那如果可以避免进行序列处理，我们就可以找出更好的 look-ahead 和 look-back 的单元，这样的 look-ahead/back 就叫做 neural attention 模块。
这种补救方法融合了多个 neural attention 模块，组成了一个分层的 neural attention 编码器，如图3所示：
图3 分层 neural attention 编码器
还有一种更好地分析过去的方法就是用 attention 模块把过去所有的编码向量总结为一个上下文向量 ct。
这里还有一个 attention 模块的分层，与神经网络和时间卷积网络（temporal convolutional network）的分层非常像。分层神经 attention 编码器的多层 attention 能查看过去信息的一小部分，比如说 100 个向量，而上面分层的attention模块还能查看到 100 个下层的注意力模块，也就是 100×100 个向量。这极大地扩展了分层神经 attention 编码器的能力。
更重要的是将传播向量传输到网络输出所需要的路径长度：在分层网络中，路径长度与 log(n)成比例的，其中 n 是分层的层数。这与 rnn 需要执行的t步骤形成了对照，其中 t 是需要记住的顺序的最大长度，而 t >> n。
neural turing machines（ntm，神经图灵机）的架构也与图3类似，但是 ntm 是让神经网络来决定通过 attention 从内存中读取什么的。也就是说，真实的神经网络将决定哪个过去的向量对未来的决策更重要。
在内存存储方面。与 ntm 不同，上面的架构把所有之前的表示都储存在内存里，这就会造成效率比较低的问题。有一个解决的办法就是增加另外一个单元来防止有相互关系的数据多次保存。当前科学研究的重点是由应用去决定保存哪些向量，哪些不保存。
目前许多的公司仍在使用 rnn/lstm 来进行语音转文本的工作，都没有意识到这种网络结构在效率和可扩展性上的缺点。
扁线电机的优点有哪些
无刷直流电机驱动的乐趣在于算法
华为将基于ICT技术助力河南数字化产业大发展
申矽凌传感器的发展前景和应用领域的介绍
用于探测3D微组织流变性的光驱动生物执行器
放弃 RNN 和 LSTM 吧，它们真的不好用
利用进化后的反向传播算法实现快速、高效的训练
详细解答精选PCB设计中的九个经典问题
割地赔款!苹果或已向高通支付335-402亿元,以达成“全面和解”
LED显示屏故障处理流程
CT已不存在制约工业互联网发展的瓶颈了，是这样吗？
软包锂电池异常产气原因分析
高级红外热像仪FLIR K65在消防工作中的应用优势
人脸识别门禁的工作原理 人脸识别门禁的优缺点
长安汽车上半年实现营收654.92亿元，净利润同比增长30.65%
PCB加工流程介绍分享
关于利用51单片机实现闪烁灯的设计
秋冬干燥季节森林防火实现远程视频监控
七腾科技发布七腾机器人原创IP形象全球征集活动
便携式无线鱼群探测器 业余爱好者与专业渔民的最爱
2015-2016 年，新的 resnet 和 attention 技术出现。实际上，我们可以将 lstm 理解为一种巧妙地 bypass technique，而 attention 的成功表明了 mlp（多层感知器）网络可以被上下文向量影响的平均网络（averaging network）所替代。
两年过去了，我们现在已经可以给出结论：
放弃 rnn 和 lstm 吧，它们真的不好用
基于 attention 的网络逐渐被越来越多的企业采用，比如 google，facebook，salesforce 等公司都已经开始用基于attention的模型来替换rnn和其变种。rnn 在各种应用场景下时日无多，因为相比基于 attention 的模型，rnn 需要更多的资源来训练和运行。
编者注：训练 rnn 和 lstm 是非常困难的，因为计算能力受到内存和带宽等的约束。这同时也是硬件设计者的噩梦，并最终限制了神经网络解决方案的适用性。简而言之，每个 lstm 单元需要 4 个线性层（mlp 层），以便每个顺序时间步运行一次。线性层需要大量的内存带宽才能执行计算；由于系统没有足够的内存带宽将数据馈送到计算单元，实际上它们无法使用许多计算单元。添加更多的计算单元很容易，但添加更多的内存带宽却很难。因此，rnn/lstm 及其变种并不和硬件加速非常匹配，一个可能的解决方案就是让计算在存储器设备中完成。
为什么 rnn/lstm 真的不好用？
rnn，lstm及其变种主要使用序列处理，如下图所示：
图1 rnn中的序列处理
图中的箭头表示长期信息在进入当前的处理单元前需要有序地进入所有其他的处理单元。也就是说，这很容易通过多次乘小于 0 的数字来进行破坏和攻击，这就是梯度消失的原因。
梯度消失可以利用 lstm 模块来补救，目前的 lstm 可是看作是多交换网关，有点像 resnet。因为 lstm 可以绕过一些单元，对长时间的步骤进行记忆，因此 lstm 可以一定程度上解决梯度消失的问题。
图2 lstm中的序列处理
从图2可以看出，从前面的单元传递来当前单元的序列路径依然存在。事实上，因为这条路径会不断添加并且会遗忘与之相关的路径分支，它会变得越来越复杂。lstm、gru 及其变体能学习大量的长期信息，但它们最多只能记住约 100s 的长期信息，而不是 1000s，10000s 甚至更长时间的信息。
rnn 还有一个问题就是并不与所有硬件兼容。如果要快速训练 rnn，那么就需要大量的计算资源，而这正是我们缺少的。如果在云上运行 rnn 模型的话，也会消耗比其他模型更多的资源。随着语音转文本需求的快速增长，云端的扩展也变得更加困难。
你需要做些什么？
因为大多数时间我们处理的都是实时的因果数据（casual data），我们想利用这些已知的数据来为之后的决策做准备。那如果可以避免进行序列处理，我们就可以找出更好的 look-ahead 和 look-back 的单元，这样的 look-ahead/back 就叫做 neural attention 模块。
这种补救方法融合了多个 neural attention 模块，组成了一个分层的 neural attention 编码器，如图3所示：
图3 分层 neural attention 编码器
还有一种更好地分析过去的方法就是用 attention 模块把过去所有的编码向量总结为一个上下文向量 ct。
这里还有一个 attention 模块的分层，与神经网络和时间卷积网络（temporal convolutional network）的分层非常像。分层神经 attention 编码器的多层 attention 能查看过去信息的一小部分，比如说 100 个向量，而上面分层的attention模块还能查看到 100 个下层的注意力模块，也就是 100×100 个向量。这极大地扩展了分层神经 attention 编码器的能力。
更重要的是将传播向量传输到网络输出所需要的路径长度：在分层网络中，路径长度与 log(n)成比例的，其中 n 是分层的层数。这与 rnn 需要执行的t步骤形成了对照，其中 t 是需要记住的顺序的最大长度，而 t >> n。
neural turing machines（ntm，神经图灵机）的架构也与图3类似，但是 ntm 是让神经网络来决定通过 attention 从内存中读取什么的。也就是说，真实的神经网络将决定哪个过去的向量对未来的决策更重要。
在内存存储方面。与 ntm 不同，上面的架构把所有之前的表示都储存在内存里，这就会造成效率比较低的问题。有一个解决的办法就是增加另外一个单元来防止有相互关系的数据多次保存。当前科学研究的重点是由应用去决定保存哪些向量，哪些不保存。
目前许多的公司仍在使用 rnn/lstm 来进行语音转文本的工作，都没有意识到这种网络结构在效率和可扩展性上的缺点。
扁线电机的优点有哪些
无刷直流电机驱动的乐趣在于算法
华为将基于ICT技术助力河南数字化产业大发展
申矽凌传感器的发展前景和应用领域的介绍
用于探测3D微组织流变性的光驱动生物执行器
放弃 RNN 和 LSTM 吧，它们真的不好用
利用进化后的反向传播算法实现快速、高效的训练
详细解答精选PCB设计中的九个经典问题
割地赔款!苹果或已向高通支付335-402亿元,以达成“全面和解”
LED显示屏故障处理流程
CT已不存在制约工业互联网发展的瓶颈了，是这样吗？
软包锂电池异常产气原因分析
高级红外热像仪FLIR K65在消防工作中的应用优势
人脸识别门禁的工作原理 人脸识别门禁的优缺点
长安汽车上半年实现营收654.92亿元，净利润同比增长30.65%
PCB加工流程介绍分享
关于利用51单片机实现闪烁灯的设计
秋冬干燥季节森林防火实现远程视频监控
七腾科技发布七腾机器人原创IP形象全球征集活动
便携式无线鱼群探测器 业余爱好者与专业渔民的最爱