ResNet本质上就干了一件事：降低数据中信息的冗余度
本文作者重新审视了resnet之所以工作的原因，得出结论:resnet本质上就干了一件事：降低数据中信息的冗余度。
最近在总结完成语义分割任务的轻量级神经网络时，看到了mobilenetv2中对于relu层的思考，于是我也回过头重新审视resnet之所以work的本质原因。以下是一些个人的见解，如有错误，还望及时指正。
在谈及resnet之前，我们先聊聊故事的背景。
我们知道，在神经网络中，非线性激活层可以为模型引入了非线性，让模型具有更强的拟合能力。如果只是单纯的线性操作层的叠加，则完全可以等价为一个线性层，这就浪费了深度神经网络的一身好本领。
所谓针无两头尖，那么非线性激活层会带来一些什么问题呢？我们以relu为例来进行说明，其他非线性激活层亦同理。
首先，最直观的，从实验中我们可以注意到一个事实：relu 会造成的低维数据的坍塌（collapse）。顾名思义，即是说，低维度的feature在通过relu的时候，这个feature会像塌方了一样，有一部分被毁掉了，或者说失去了。能恢复吗？能，但是基本无法百分百还原了。
具体表现出来就是：若是我们对一个feature，先通过一个给定的变换规则t，将它映射到它的embeddingspace中，再在该embeddingspace中，利用一个relu去处理该feature，最后再把这个feature以同样的变换规则（逆方向）给映射回原始空间，我们会发现，这时，这个feature已经变得连亲妈都不认得了。如图↓
图片来自《mobilenetv2:invertedresidualsandlinearbottlenecks》
relu这个东西，其实就是一个滤波器，只不过这个滤波器的作用域不是信号处理中的频域，而是特征域。那么滤波器又有什么作用呢？维度压缩，俗话说就是降维啦：如果我们有m个feature被送入relu层，过滤剩下n个（n
那么，为什么低维数据流经非线性激活层会发生坍塌（信息丢失），而高维数据就不会呢？
打个简单但不严谨的比方：大家都有过年抢高铁票的经验吧？几个人（维度低）帮你抢一张票，肯定没有一群人（维度高）帮你抢一张票，成功的概率高啊。几个人里面，大概率全军覆没，没一个能帮上你忙的。而一群人里面，大概率总有那么一个手速惊人的单身青年，帮你抢到你心心念念的回家票。
在数据上也是一个道理，维度低的feature，分布到relu的激活带上的概率小，因此经过后信息丢失严重，甚至可能完全丢失。而维度高的feature，分布到relu的激活带上的概率大，虽然可能也会有信息的部分丢失，但是无伤大雅，大部分的信息仍然得以保留。所谓留得青山在，不愁没柴烧嘛。更何况被relu截杀的信息，可能只是一些无用游民（冗余信息）。
那么数据的坍塌，是个很严重的事吗？
那事儿可大了。如果把神经网络比作一个人的话，你这就是给它的某个部位的血管里，丢了个血栓。
当信息无法流过relu时，该神经元的输出就会变为0。而在反向传播的过程中，relu对0值的梯度为0，即发生了梯度消失，这将导致神经元的权重无法再通过梯度下降法进行更新，这种现象被称为特征退化。所以这个神经元相当于死掉了，丧失了学习能力。我们说，一旦神经元的输出陷入0值，就无法恢复了。
那么，我们应该怎么去规避数据的坍塌呢？非线性激活层到底是个什么样的东西？
其实，对于一个数据，利用非线性激活层对其进行激活，其实是从该数据的信息中提取出其潜在的稀疏性，但是这种提取的结果是否正确，就要分情况讨论了。
对于一个m维的数据，我们可以将其看成是在m维空间中的一个m维流形（manifold）。而其中的有用信息，就是在该m维空间中的一个子空间（子空间的维度记为n维，n<=m）中的一个n维流形。非线性激活层相当于压缩了这个m维空间的维度（还记得前面提过的维度压缩吗？）。若是该m维空间中的m维流形本来就不含有冗余信息（m=n），那么再对其进行维度压缩，必然导致信息的丢失。
而维度低的数据其实就是这么一种情况：其信息的冗余度高的可能性本来就低，如果强行对其进行非线性激活（维度压缩），则很有可能丢失掉有用信息，甚至丢失掉全部信息（输出为全0）。
与非线性激活层不同的是，线性激活层并不压缩特征空间的维度。于是，我们得到了一条使用激活层的原则：
对含有冗余信息的数据使用非线性激活（如relu），对不含冗余信息的数据使用线性激活（如一些线性变换）。
两种类型的激活交替灵活使用，以同时兼顾非线性和信息的完整性。
由于冗余信息和非冗余信息所携带的有用信息是一样多的，因此在设计网络时，对内存消耗大的结构最好是用在非冗余信息上。
根据以上的原则设计出来的结构，聪明的你想到了什么？resnet。不得不赞叹kaiminghe的天才，resnet这东西，描述起来固然简单，但是对它的理解每深一层，就会愈发发现它的精妙及优雅，从数学上解释起来非常简洁，非常令人信服，而且直切传统痛点。
resnet本质上就干了一件事：降低数据中信息的冗余度。
具体说来，就是对非冗余信息采用了线性激活（通过skipconnection获得无冗余的identity部分），然后对冗余信息采用了非线性激活（通过relu对identity之外的其余部分进行信息提取/过滤，提取出的有用信息即是残差）。
其中，提取 identity 这一步，就是 resnet 思想的核心。
从本文的观点来看，因为从数据中拿掉了非冗余信息的identity部分，会导致余下部分的信息冗余度变高。这就像从接近饱和的溶液中移走了一部分溶质，会使得剩下的溶液的饱和度降低，一个道理。
在这里也引用一下其他的一些观点，方便大家可以从一个更全面的角度去看这个问题：
从特征复用的观点来看，提取identity部分，可以让网络不用再去学习一个identitymapping（虽然是一样的东西，但是毕竟又要从头学起，讲真，换你来试试，这其实真的不容易学到），而是直接学习residual。这就轻松愉快多了：站在巨人的肩膀上，做一点微小的工作什么的...
既然说了resnet解决的痛点，也顺便多说几句它带来的好处：
由于identity之外的其余部分的信息冗余度较高，因此在对其使用relu进行非线性激活时，丢失的有用信息也会较少，relu层输出为0的可能性也会较低。这就降低了在反向传播时relu的梯度消失的概率，从而便于网络的加深，以大大地发挥深度网络的潜能。
特征复用能加快模型的学习速度，因为参数的优化收敛得快（从identity的基础上直接学习残差，总比从头学习全部来得快）。
最后是两个小tips：
如果一个信息可以完整地流过一个非线性激活层，则这个非线性激活层对于这个信息而言，相当于仅仅作了一个线性激活。
解决由非线性激活导致的反向传播梯度消失的窍门，就是要提高进行非线性激活的信息的冗余度。
如果您觉得本文对您有所帮助，请高抬贵手点个赞～
接下来会填之前语义软分割的坑和图神经网络的坑，还有一些杂七杂八的：如姿态估计网络啦、deepslam啦、视觉跟踪网络啦、vqa啦...最近光忙着看paper和写笔记了，有空再整理后发上来。
RS-485总线扫盲之物理层
诚迈科技聚焦开源鸿蒙在工业中的数智化应用
区块链应用在数字转换库中可以简化摩擦和效率低下的问题
2020年的固态硬盘会成为我们的刚需吗
比亚迪表示预计2022年前后会把电池业务整个分拆出去独立上市
ResNet本质上就干了一件事：降低数据中信息的冗余度
左右全球DRAM产业的大案,联电有机会藉此扩大影响力
智能手表跟运动鞋更配哦
一个简单而多功能的12级水位指示器电路
被动元件新一轮涨价潮将至?
高压脉冲技术冲牙器对比，洁碧也遭新挑战
电动汽车销量增长迅速 电子产业链也在快速发展
5G的以后会是什么样的状态
云存储公司Dropbox在美提交IPO申请
FreshworksNeo的协作平台具备哪些功能
LED基本知识与硬件设计
谷歌将推出自己的带屏智能音箱Home Hub，售价为149美元
第十二届中国制造业产品创新数字化国际峰会精彩日程抢先
探究嵌入式储存器FLASH和RAM的区别
齿轮减速电机的故障问题
最近在总结完成语义分割任务的轻量级神经网络时，看到了mobilenetv2中对于relu层的思考，于是我也回过头重新审视resnet之所以work的本质原因。以下是一些个人的见解，如有错误，还望及时指正。
在谈及resnet之前，我们先聊聊故事的背景。
我们知道，在神经网络中，非线性激活层可以为模型引入了非线性，让模型具有更强的拟合能力。如果只是单纯的线性操作层的叠加，则完全可以等价为一个线性层，这就浪费了深度神经网络的一身好本领。
所谓针无两头尖，那么非线性激活层会带来一些什么问题呢？我们以relu为例来进行说明，其他非线性激活层亦同理。
首先，最直观的，从实验中我们可以注意到一个事实：relu 会造成的低维数据的坍塌（collapse）。顾名思义，即是说，低维度的feature在通过relu的时候，这个feature会像塌方了一样，有一部分被毁掉了，或者说失去了。能恢复吗？能，但是基本无法百分百还原了。
具体表现出来就是：若是我们对一个feature，先通过一个给定的变换规则t，将它映射到它的embeddingspace中，再在该embeddingspace中，利用一个relu去处理该feature，最后再把这个feature以同样的变换规则（逆方向）给映射回原始空间，我们会发现，这时，这个feature已经变得连亲妈都不认得了。如图↓
图片来自《mobilenetv2:invertedresidualsandlinearbottlenecks》
relu这个东西，其实就是一个滤波器，只不过这个滤波器的作用域不是信号处理中的频域，而是特征域。那么滤波器又有什么作用呢？维度压缩，俗话说就是降维啦：如果我们有m个feature被送入relu层，过滤剩下n个（n
打个简单但不严谨的比方：大家都有过年抢高铁票的经验吧？几个人（维度低）帮你抢一张票，肯定没有一群人（维度高）帮你抢一张票，成功的概率高啊。几个人里面，大概率全军覆没，没一个能帮上你忙的。而一群人里面，大概率总有那么一个手速惊人的单身青年，帮你抢到你心心念念的回家票。
在数据上也是一个道理，维度低的feature，分布到relu的激活带上的概率小，因此经过后信息丢失严重，甚至可能完全丢失。而维度高的feature，分布到relu的激活带上的概率大，虽然可能也会有信息的部分丢失，但是无伤大雅，大部分的信息仍然得以保留。所谓留得青山在，不愁没柴烧嘛。更何况被relu截杀的信息，可能只是一些无用游民（冗余信息）。
那么数据的坍塌，是个很严重的事吗？
那事儿可大了。如果把神经网络比作一个人的话，你这就是给它的某个部位的血管里，丢了个血栓。
当信息无法流过relu时，该神经元的输出就会变为0。而在反向传播的过程中，relu对0值的梯度为0，即发生了梯度消失，这将导致神经元的权重无法再通过梯度下降法进行更新，这种现象被称为特征退化。所以这个神经元相当于死掉了，丧失了学习能力。我们说，一旦神经元的输出陷入0值，就无法恢复了。
那么，我们应该怎么去规避数据的坍塌呢？非线性激活层到底是个什么样的东西？
其实，对于一个数据，利用非线性激活层对其进行激活，其实是从该数据的信息中提取出其潜在的稀疏性，但是这种提取的结果是否正确，就要分情况讨论了。
对于一个m维的数据，我们可以将其看成是在m维空间中的一个m维流形（manifold）。而其中的有用信息，就是在该m维空间中的一个子空间（子空间的维度记为n维，n<=m）中的一个n维流形。非线性激活层相当于压缩了这个m维空间的维度（还记得前面提过的维度压缩吗？）。若是该m维空间中的m维流形本来就不含有冗余信息（m=n），那么再对其进行维度压缩，必然导致信息的丢失。
而维度低的数据其实就是这么一种情况：其信息的冗余度高的可能性本来就低，如果强行对其进行非线性激活（维度压缩），则很有可能丢失掉有用信息，甚至丢失掉全部信息（输出为全0）。
与非线性激活层不同的是，线性激活层并不压缩特征空间的维度。于是，我们得到了一条使用激活层的原则：
对含有冗余信息的数据使用非线性激活（如relu），对不含冗余信息的数据使用线性激活（如一些线性变换）。
两种类型的激活交替灵活使用，以同时兼顾非线性和信息的完整性。
由于冗余信息和非冗余信息所携带的有用信息是一样多的，因此在设计网络时，对内存消耗大的结构最好是用在非冗余信息上。
根据以上的原则设计出来的结构，聪明的你想到了什么？resnet。不得不赞叹kaiminghe的天才，resnet这东西，描述起来固然简单，但是对它的理解每深一层，就会愈发发现它的精妙及优雅，从数学上解释起来非常简洁，非常令人信服，而且直切传统痛点。
resnet本质上就干了一件事：降低数据中信息的冗余度。
具体说来，就是对非冗余信息采用了线性激活（通过skipconnection获得无冗余的identity部分），然后对冗余信息采用了非线性激活（通过relu对identity之外的其余部分进行信息提取/过滤，提取出的有用信息即是残差）。
其中，提取 identity 这一步，就是 resnet 思想的核心。
从本文的观点来看，因为从数据中拿掉了非冗余信息的identity部分，会导致余下部分的信息冗余度变高。这就像从接近饱和的溶液中移走了一部分溶质，会使得剩下的溶液的饱和度降低，一个道理。
在这里也引用一下其他的一些观点，方便大家可以从一个更全面的角度去看这个问题：
从特征复用的观点来看，提取identity部分，可以让网络不用再去学习一个identitymapping（虽然是一样的东西，但是毕竟又要从头学起，讲真，换你来试试，这其实真的不容易学到），而是直接学习residual。这就轻松愉快多了：站在巨人的肩膀上，做一点微小的工作什么的...
既然说了resnet解决的痛点，也顺便多说几句它带来的好处：
由于identity之外的其余部分的信息冗余度较高，因此在对其使用relu进行非线性激活时，丢失的有用信息也会较少，relu层输出为0的可能性也会较低。这就降低了在反向传播时relu的梯度消失的概率，从而便于网络的加深，以大大地发挥深度网络的潜能。
特征复用能加快模型的学习速度，因为参数的优化收敛得快（从identity的基础上直接学习残差，总比从头学习全部来得快）。
最后是两个小tips：
如果一个信息可以完整地流过一个非线性激活层，则这个非线性激活层对于这个信息而言，相当于仅仅作了一个线性激活。
解决由非线性激活导致的反向传播梯度消失的窍门，就是要提高进行非线性激活的信息的冗余度。
如果您觉得本文对您有所帮助，请高抬贵手点个赞～
接下来会填之前语义软分割的坑和图神经网络的坑，还有一些杂七杂八的：如姿态估计网络啦、deepslam啦、视觉跟踪网络啦、vqa啦...最近光忙着看paper和写笔记了，有空再整理后发上来。
RS-485总线扫盲之物理层
诚迈科技聚焦开源鸿蒙在工业中的数智化应用
区块链应用在数字转换库中可以简化摩擦和效率低下的问题
2020年的固态硬盘会成为我们的刚需吗
比亚迪表示预计2022年前后会把电池业务整个分拆出去独立上市
ResNet本质上就干了一件事：降低数据中信息的冗余度
左右全球DRAM产业的大案,联电有机会藉此扩大影响力
智能手表跟运动鞋更配哦
一个简单而多功能的12级水位指示器电路
被动元件新一轮涨价潮将至?
高压脉冲技术冲牙器对比，洁碧也遭新挑战
电动汽车销量增长迅速 电子产业链也在快速发展
5G的以后会是什么样的状态
云存储公司Dropbox在美提交IPO申请
FreshworksNeo的协作平台具备哪些功能
LED基本知识与硬件设计
谷歌将推出自己的带屏智能音箱Home Hub，售价为149美元
第十二届中国制造业产品创新数字化国际峰会精彩日程抢先
探究嵌入式储存器FLASH和RAM的区别
齿轮减速电机的故障问题