Dropout如何成为SDR的特殊情况
编者按：多层神经网络在多种基准任务上都有了显著成果，例如文本、语音和图像处理。尽管如此，这些深层神经网络会导致高维非线性的参数空间，让搜索难以进行，并且还会导致过度拟合和较差的泛化。早期由于数据不足、无法恢复梯度损失以及不良局部最小值而引起的高捕捉概率，让使用反向传播的神经网络很容易失败。
2006年，hinton的深度学习提出了一些创新的方法以减少这些过度拟合和过度参数化的问题，包括减少连续梯度损失的relu和dropout等。在这篇文章中，美国罗格斯大学的两位研究者将关注深层网络的过度参数化问题，尽管现在各项分类任务都有大量可用的数据。本文已提交到nips 2018，以下是论智对原文的大致编译，如有错误请批评指正。
dropout是用来减轻过度参数化、深度学习的过拟合以及避免偶然出现的不良局部最小值。具体说来，dropout在每次更新时会添加一个带有概率p的bernoulli随机变量、删除隐藏的单元以及网络中的连接，从而创造一个稀疏的网络架构。学习结束后，深度学习网络会通过计算每个权重的期望值进行重组。大多数案例证明，深度学习的dropout能将常见基准的错误减少50%以上。
在这篇论文中，我们将介绍一种通用的dropout类型，它可以在权重层面操作，在每次更新中插入梯度相关的噪音，称为随机delta规则（sdr）。sdr是在每个权重上执行一个随机变量，并对随机变量中的每个参数提供更新之后的规则。虽然sdr在任意随机变量下都能工作，但是我们将展示，dropout在拥有二项式随机变量中的固定参数下是非常特别的。最终我们在含有高斯sdr的标准基准下测试densenet，结果证明二项式dropout有着非常大的优势。
随机delta规则（sdr）
众所周知，神经传输会包含噪声。如果皮质分离的神经元受到周期性、相同的刺激，将会产生不同的反应。sdr的部分motivation是基于生命系统中信号在神经元之间传播的随机性。显然，平滑的神经速率函数是基于很多刺激实验得来的平均值，这使得我们认为两个神经元之间的突触可以用一个具有固定参数的分布建模。
图1显示了我们用一个高斯随机变量和平均µwij以及σwij实施的sdr算法。每个权重都会从高斯随机变量中进行采样。实际上，和dropout一样，很多网络都是在训练时的更新中进行采样。这里和dropout的不同之处在于，sdr在更新时，会根据错误的梯度调整权重和隐藏单元。
图1
因此，每个权重梯度就是基于隐藏单元的随机变量，基于此，系统可以：
给定相同的样本/奖励，生成多个回复假设
保持历史预测，而不像dropout一样只有局部的隐藏单元权重
有可能会返回到不良局部最小值而造成贪婪搜索，但同时越来越远离更好的局部最小值
最后一个优点是，如hinton所说，局部噪声的插入可能会导致收敛到更好的局部最小值的速度更快、更稳定。
实施sdr有三个更新规则，以下是权重分布中的权重值的更新规则：
第一个更新规则用于计算权重分布的平均数：
第二个用于权重分布的标准偏差：
第三种是将标准偏差收敛到0，让平均权重值达到一个固定点，将所有样本都聚集起来：
接下来，我们将讲述dropout如何成为sdr的特殊情况。最明显的方法是首先将随机搜索看作一种特殊的采样分布。
将dropout看作sdr的二项式固定参数
如之前所说，dropout需要将每层的隐藏单元在bernoulli过程中删除。如果我们在同样的网络中，将dropout和sdr进行对比，可以发现二者的不同在于随机处理是否影响了权重或隐藏单元。图2我们描述了dropout在隐藏单元采样时的收敛。可以看到明显的不同是，sdr在适应性地更新随机变量参数，而dropout是用固定参数进和binomial随机变量进行采样。另一个重要区别在于，sdr在隐藏层中的共享权重比dropout的更“局部”。
图2
那么，sdr所表现出的参数的增加，是否使得搜索更加有效、更加稳定？下一步我们将开展实验。
测试及结果
这里我们采用了在tensorflow上搭建的经过改进的densenet。模型用densenet-40、densenet-100和densenet-bc 100网络，它们经过了cifar-10和cifar-100的训练，初始densenet参数相同。
最终的结果显示，将sdr换成dropout后的densenet测试中，错误率下降了50%以上。
同时在错误率分别为15、10和5的情况下，训练所需次数也比单独densenet减少：
训练精确度（densenet-100橙色，有sdr的densenet-100，蓝色）
结语
这篇文章展示了一个基础的深度学习算法（dropout）是如何实施随机搜索并帮助解决过度拟合的。未来我们将展示sdr是如何超越dropout在深度学习分类中的表现的。
数据科学家、fast.ai创始人jeremy howard点评：“如果该论文结果真的这么好，那绝对值得关注。”
但是谷歌机器学习专家david ha有不同意见：“结果看上去很可疑（我觉得他们搞错了）。cifar-10的准确率能到98.64%，cifar-100真的能到94.84%吗？”
PCB layout中的走线设计
Spring Boot如何实现日志链路追踪
贵州大力推动大数据发展，构建开放体系完善物流促进外贸推动“外循环”
中国第3代半导体半导体理想封装材料——高导热氮化硅陶瓷基板突破“卡脖子”难题
深度学习聚类的综述
Dropout如何成为SDR的特殊情况
以太网的三件事您应了如指掌
F192万用示波器的应用特点和多种带宽选择介绍
鱼与熊掌不可兼得!旧金山成为全球被禁止使用人脸识别技术的城市
未来五年内,激光雷达市场的市值将达18亿美元
如何快速检查电动机控制电路_检查线路步骤及方法
招投标资讯｜2022年联通数科物联网事业部南京南部新城智慧灯杆建设（二期）公开比选项目
关于电声配件行业防尘防水透声膜的解决方案
传三星新获屏下光学指纹识别专利 Note 9手机首发
AI的发展也许已经悄然进入2.0阶段
回顾2019GTC大会上中国初创企业的最新技术和创新展示方案
11月底全国范围内正式提供携号转网服务
明基PD2700Q和戴尔U2719DS，看完你就知道应该选择哪一个！
如何评价马云的无人超市？
小米6plus什么时候上市?小米6plus是个骗局?小米真正要发布的新机是小米X1or红米pro2?
2006年，hinton的深度学习提出了一些创新的方法以减少这些过度拟合和过度参数化的问题，包括减少连续梯度损失的relu和dropout等。在这篇文章中，美国罗格斯大学的两位研究者将关注深层网络的过度参数化问题，尽管现在各项分类任务都有大量可用的数据。本文已提交到nips 2018，以下是论智对原文的大致编译，如有错误请批评指正。
dropout是用来减轻过度参数化、深度学习的过拟合以及避免偶然出现的不良局部最小值。具体说来，dropout在每次更新时会添加一个带有概率p的bernoulli随机变量、删除隐藏的单元以及网络中的连接，从而创造一个稀疏的网络架构。学习结束后，深度学习网络会通过计算每个权重的期望值进行重组。大多数案例证明，深度学习的dropout能将常见基准的错误减少50%以上。
在这篇论文中，我们将介绍一种通用的dropout类型，它可以在权重层面操作，在每次更新中插入梯度相关的噪音，称为随机delta规则（sdr）。sdr是在每个权重上执行一个随机变量，并对随机变量中的每个参数提供更新之后的规则。虽然sdr在任意随机变量下都能工作，但是我们将展示，dropout在拥有二项式随机变量中的固定参数下是非常特别的。最终我们在含有高斯sdr的标准基准下测试densenet，结果证明二项式dropout有着非常大的优势。
随机delta规则（sdr）
众所周知，神经传输会包含噪声。如果皮质分离的神经元受到周期性、相同的刺激，将会产生不同的反应。sdr的部分motivation是基于生命系统中信号在神经元之间传播的随机性。显然，平滑的神经速率函数是基于很多刺激实验得来的平均值，这使得我们认为两个神经元之间的突触可以用一个具有固定参数的分布建模。
图1显示了我们用一个高斯随机变量和平均µwij以及σwij实施的sdr算法。每个权重都会从高斯随机变量中进行采样。实际上，和dropout一样，很多网络都是在训练时的更新中进行采样。这里和dropout的不同之处在于，sdr在更新时，会根据错误的梯度调整权重和隐藏单元。
图1
因此，每个权重梯度就是基于隐藏单元的随机变量，基于此，系统可以：
给定相同的样本/奖励，生成多个回复假设
保持历史预测，而不像dropout一样只有局部的隐藏单元权重
有可能会返回到不良局部最小值而造成贪婪搜索，但同时越来越远离更好的局部最小值
最后一个优点是，如hinton所说，局部噪声的插入可能会导致收敛到更好的局部最小值的速度更快、更稳定。
实施sdr有三个更新规则，以下是权重分布中的权重值的更新规则：
第一个更新规则用于计算权重分布的平均数：
第二个用于权重分布的标准偏差：
第三种是将标准偏差收敛到0，让平均权重值达到一个固定点，将所有样本都聚集起来：
接下来，我们将讲述dropout如何成为sdr的特殊情况。最明显的方法是首先将随机搜索看作一种特殊的采样分布。
将dropout看作sdr的二项式固定参数
如之前所说，dropout需要将每层的隐藏单元在bernoulli过程中删除。如果我们在同样的网络中，将dropout和sdr进行对比，可以发现二者的不同在于随机处理是否影响了权重或隐藏单元。图2我们描述了dropout在隐藏单元采样时的收敛。可以看到明显的不同是，sdr在适应性地更新随机变量参数，而dropout是用固定参数进和binomial随机变量进行采样。另一个重要区别在于，sdr在隐藏层中的共享权重比dropout的更“局部”。
图2
那么，sdr所表现出的参数的增加，是否使得搜索更加有效、更加稳定？下一步我们将开展实验。
测试及结果
这里我们采用了在tensorflow上搭建的经过改进的densenet。模型用densenet-40、densenet-100和densenet-bc 100网络，它们经过了cifar-10和cifar-100的训练，初始densenet参数相同。
最终的结果显示，将sdr换成dropout后的densenet测试中，错误率下降了50%以上。
同时在错误率分别为15、10和5的情况下，训练所需次数也比单独densenet减少：
训练精确度（densenet-100橙色，有sdr的densenet-100，蓝色）
结语
这篇文章展示了一个基础的深度学习算法（dropout）是如何实施随机搜索并帮助解决过度拟合的。未来我们将展示sdr是如何超越dropout在深度学习分类中的表现的。
数据科学家、fast.ai创始人jeremy howard点评：“如果该论文结果真的这么好，那绝对值得关注。”
但是谷歌机器学习专家david ha有不同意见：“结果看上去很可疑（我觉得他们搞错了）。cifar-10的准确率能到98.64%，cifar-100真的能到94.84%吗？”
PCB layout中的走线设计
Spring Boot如何实现日志链路追踪
贵州大力推动大数据发展，构建开放体系完善物流促进外贸推动“外循环”
中国第3代半导体半导体理想封装材料——高导热氮化硅陶瓷基板突破“卡脖子”难题
深度学习聚类的综述
Dropout如何成为SDR的特殊情况
以太网的三件事您应了如指掌
F192万用示波器的应用特点和多种带宽选择介绍
鱼与熊掌不可兼得!旧金山成为全球被禁止使用人脸识别技术的城市
未来五年内,激光雷达市场的市值将达18亿美元
如何快速检查电动机控制电路_检查线路步骤及方法
招投标资讯｜2022年联通数科物联网事业部南京南部新城智慧灯杆建设（二期）公开比选项目
关于电声配件行业防尘防水透声膜的解决方案
传三星新获屏下光学指纹识别专利 Note 9手机首发
AI的发展也许已经悄然进入2.0阶段
回顾2019GTC大会上中国初创企业的最新技术和创新展示方案
11月底全国范围内正式提供携号转网服务
明基PD2700Q和戴尔U2719DS，看完你就知道应该选择哪一个！
如何评价马云的无人超市？
小米6plus什么时候上市?小米6plus是个骗局?小米真正要发布的新机是小米X1or红米pro2?