BN算法和过程
1 bn的优点
这里简单的介绍一下bn，在之前的文章中已经详细的介绍了bn算法和过程。
bn于2015年由 google 提出，google在icml论文中描述的非常清晰，即在每次sgd时，通过mini-batch来对相应的activation做规范化操作，使得结果（输出信号各个维度）的均值为0，方差为1。最后的“scale and shift”操作则是为了训练所需而“刻意”加入的bn能够有可能还原最初的输入，从而保证数据中有用信息的留存。
【bn的好处】
bn使得网络中每层输入数据的分布相对稳定，加速模型学习速度；
bn使得模型对网络中的参数不那么敏感，简化调参过程，使得网络学习更加稳定；
bn允许网络使用饱和性激活函数（例如sigmoid，tanh等），缓解梯度消失问题；
bn具有一定的正则化效果。
2 bn的缺点
2.1 受限于batch size
bn 沿着 batch 维度进行归一化，其受限于 batch size，当 batch size 很小时，bn 会得到不准确的统计估计，会导致模型误差明显增加
【一般每块 gpu 上 batch size =32 最合适。】
但对于目标检测，语义分割，视频场景等，输入图像尺寸比较大，而限于gpu显卡的显存限制，导致无法设置较大的 batch size，如 经典的faster-rcnn、mask r-cnn 网络中，由于图像的分辨率较大，batch size 只能是 1 或 2.
2.2 训练集与测试集的分布
bn处理训练集的时候，采用的均值和方差是整个训练集的计算出来的均值和方差（这一部分没有看懂的话，可能需要去看一下bn算法的详解）
所以测试和训练的数据分布如果存在差异，那么就会导致训练和测试之间存在不一致现象（inconsistency）。
3 group normalzation
group normalization(gn)是由2018年3月份何恺明团队提出，gn优化了bn在比较小的mini-batch情况下表现不太好的劣势。
group normalization(gn) 则是提出的一种 bn 的替代方法，其是首先将 channels 划分为多个 groups，再计算每个 group 内的均值和方法，以进行归一化。gb的计算与batch size无关，因此对于高精度图片小batchsize的情况也是非常稳定的，
下图是比较bn和gn在batch size越来越小的变化中，模型错误率变化的对比图：
因此在实验的时候，可以在尝试使用gn来代替bn哦~
其实不难发现，gn和ln是存在一定的关系的。
上图中有四种normalization的方法。就先从最简单的instance normalization开始分析：
in：仅仅对每一个图片的每一个通道最归一化。也就是说，对【h，w】维度做归一化。假设一个特征图有10个通道，那么就会得到10个均值和10个方差；要是一个batch有5个样本，每个样本有10个通道，那么in总共会计算出50个均值方差；
ln：对一个特征图的所有通道做归一化。5个10通道的特征图，ln会给出5个均值方差；
gn：这个是介于ln和in之间的一种方法。假设group分成2个，那么10个通道就会被分成5和5两组。然后5个10通道特征图会计算出10个均值方差。
bn:这个就是对batch维度进行计算。所以假设5个100通道的特征图的话，就会计算出100个均值方差。5个batch中每一个通道就会计算出来一个均值方差。
在gn的论文中，给出了gn推荐的group number：
第一个表格展示gn的group number不断减小，退化成ln的过程。其实，分组32个group效果最好；
第二个表格展示gn的每一组的channel数目不断减小，退化成in的过程。每一组16个channel的效果最好，我个人在项目中也会有优先尝试16个通道为一组的这种参数设置。
4 pytorch实现gn
importnumpyasnp importtorch importtorch.nnasnn classgroupnorm(nn.module): def__init__(self,num_features,num_groups=32,eps=1e-5): super(groupnorm,self).__init__() self.weight=nn.parameter(torch.ones(1,num_features,1,1)) self.bias=nn.parameter(torch.zeros(1,num_features,1,1)) self.num_groups=num_groups self.eps=eps defforward(self,x): n,c,h,w=x.size() g=self.num_groups assertc%g==0 x=x.view(n,g,-1) mean=x.mean(-1,keepdim=true) var=x.var(-1,keepdim=true) x=(x-mean)/(var+self.eps).sqrt() x=x.view(n,c,h,w)
当然，你要是想问pytorch是否已经集成了gn？那必然的。下面的代码比较了pytorch集成的gn和我们手算的gn的结果。
importtorch importtorch.nnasnn x=torch.randn([2,10,3,3])+1 #torch集成的方法 m=torch.nn.groupnorm(num_channels=10,num_groups=2) #先计算前面五个通道的均值 firstdimenmean=torch.tensor.mean(x[0,0:5]) #先计算前面五个通道的方差 firstdimenvar=torch.tensor.var(x[0,0:5],false) #减去均值乘方差 y2=((x[0][0][0][1]-firstdimenmean)/(torch.pow(firstdimenvar+m.eps,0.5)))*m.weight[0]+m.bias[0] print(y2) y1=m(x) print(m.weight) print(m.bias) print(y1[0,0,0,1])
输出结果：
tensor(0.4595,grad_fn=) parametercontaining: tensor([1.,1.,1.,1.,1.,1.,1.,1.,1.,1.],requires_grad=true) parametercontaining: tensor([0.,0.,0.,0.,0.,0.,0.,0.,0.,0.],requires_grad=true) tensor(0.4595,grad_fn=)
急救车工业路由器应用提升急救效率：车联网、数据采集与远程诊疗
什么是RF LDMOS晶体管
电动汽车电机到底该如何测试
硬件工程师必看的技能之MOS管构成的基本门逻辑电路
工信部：5G手机有一二十款 几大运营商已开始部署网络
BN算法和过程
欧度MAC®快捷版采用半壳原理，对接速度将提升两倍
5G医疗成资本新宠,智慧医疗大有可为
立讯精密是做什么的
三星盈利预警背后:更大的麻烦
华为笔记本能升级鸿蒙系统吗
使用可配置的数字IO为您的工业控制器提供优势
微型电机行业新蓝海——无人机
三星Galaxy Note 10.1将于8月16在香港发售
为什么小家电的充电器不能做成通用的
如何对微控制器进行省电管理
山西移动下线8元4G套餐，5G真的要来了吗？
电量传感器灌封工艺及常见问题解决方案
C8051F020触摸屏驱动控制
在非洲卖得最火的国产手机不是华为而是它!原因竟是这个!
这里简单的介绍一下bn，在之前的文章中已经详细的介绍了bn算法和过程。
bn于2015年由 google 提出，google在icml论文中描述的非常清晰，即在每次sgd时，通过mini-batch来对相应的activation做规范化操作，使得结果（输出信号各个维度）的均值为0，方差为1。最后的“scale and shift”操作则是为了训练所需而“刻意”加入的bn能够有可能还原最初的输入，从而保证数据中有用信息的留存。
【bn的好处】
bn使得网络中每层输入数据的分布相对稳定，加速模型学习速度；
bn使得模型对网络中的参数不那么敏感，简化调参过程，使得网络学习更加稳定；
bn允许网络使用饱和性激活函数（例如sigmoid，tanh等），缓解梯度消失问题；
bn具有一定的正则化效果。
2 bn的缺点
2.1 受限于batch size
bn 沿着 batch 维度进行归一化，其受限于 batch size，当 batch size 很小时，bn 会得到不准确的统计估计，会导致模型误差明显增加
【一般每块 gpu 上 batch size =32 最合适。】
但对于目标检测，语义分割，视频场景等，输入图像尺寸比较大，而限于gpu显卡的显存限制，导致无法设置较大的 batch size，如 经典的faster-rcnn、mask r-cnn 网络中，由于图像的分辨率较大，batch size 只能是 1 或 2.
2.2 训练集与测试集的分布
bn处理训练集的时候，采用的均值和方差是整个训练集的计算出来的均值和方差（这一部分没有看懂的话，可能需要去看一下bn算法的详解）
所以测试和训练的数据分布如果存在差异，那么就会导致训练和测试之间存在不一致现象（inconsistency）。
3 group normalzation
group normalization(gn)是由2018年3月份何恺明团队提出，gn优化了bn在比较小的mini-batch情况下表现不太好的劣势。
group normalization(gn) 则是提出的一种 bn 的替代方法，其是首先将 channels 划分为多个 groups，再计算每个 group 内的均值和方法，以进行归一化。gb的计算与batch size无关，因此对于高精度图片小batchsize的情况也是非常稳定的，
下图是比较bn和gn在batch size越来越小的变化中，模型错误率变化的对比图：
因此在实验的时候，可以在尝试使用gn来代替bn哦~
其实不难发现，gn和ln是存在一定的关系的。
上图中有四种normalization的方法。就先从最简单的instance normalization开始分析：
in：仅仅对每一个图片的每一个通道最归一化。也就是说，对【h，w】维度做归一化。假设一个特征图有10个通道，那么就会得到10个均值和10个方差；要是一个batch有5个样本，每个样本有10个通道，那么in总共会计算出50个均值方差；
ln：对一个特征图的所有通道做归一化。5个10通道的特征图，ln会给出5个均值方差；
gn：这个是介于ln和in之间的一种方法。假设group分成2个，那么10个通道就会被分成5和5两组。然后5个10通道特征图会计算出10个均值方差。
bn:这个就是对batch维度进行计算。所以假设5个100通道的特征图的话，就会计算出100个均值方差。5个batch中每一个通道就会计算出来一个均值方差。
在gn的论文中，给出了gn推荐的group number：
第一个表格展示gn的group number不断减小，退化成ln的过程。其实，分组32个group效果最好；
第二个表格展示gn的每一组的channel数目不断减小，退化成in的过程。每一组16个channel的效果最好，我个人在项目中也会有优先尝试16个通道为一组的这种参数设置。
4 pytorch实现gn
importnumpyasnp importtorch importtorch.nnasnn classgroupnorm(nn.module): def__init__(self,num_features,num_groups=32,eps=1e-5): super(groupnorm,self).__init__() self.weight=nn.parameter(torch.ones(1,num_features,1,1)) self.bias=nn.parameter(torch.zeros(1,num_features,1,1)) self.num_groups=num_groups self.eps=eps defforward(self,x): n,c,h,w=x.size() g=self.num_groups assertc%g==0 x=x.view(n,g,-1) mean=x.mean(-1,keepdim=true) var=x.var(-1,keepdim=true) x=(x-mean)/(var+self.eps).sqrt() x=x.view(n,c,h,w)
当然，你要是想问pytorch是否已经集成了gn？那必然的。下面的代码比较了pytorch集成的gn和我们手算的gn的结果。
importtorch importtorch.nnasnn x=torch.randn([2,10,3,3])+1 #torch集成的方法 m=torch.nn.groupnorm(num_channels=10,num_groups=2) #先计算前面五个通道的均值 firstdimenmean=torch.tensor.mean(x[0,0:5]) #先计算前面五个通道的方差 firstdimenvar=torch.tensor.var(x[0,0:5],false) #减去均值乘方差 y2=((x[0][0][0][1]-firstdimenmean)/(torch.pow(firstdimenvar+m.eps,0.5)))*m.weight[0]+m.bias[0] print(y2) y1=m(x) print(m.weight) print(m.bias) print(y1[0,0,0,1])
输出结果：
tensor(0.4595,grad_fn=) parametercontaining: tensor([1.,1.,1.,1.,1.,1.,1.,1.,1.,1.],requires_grad=true) parametercontaining: tensor([0.,0.,0.,0.,0.,0.,0.,0.,0.,0.],requires_grad=true) tensor(0.4595,grad_fn=)
急救车工业路由器应用提升急救效率：车联网、数据采集与远程诊疗
什么是RF LDMOS晶体管
电动汽车电机到底该如何测试
硬件工程师必看的技能之MOS管构成的基本门逻辑电路
工信部：5G手机有一二十款 几大运营商已开始部署网络
BN算法和过程
欧度MAC®快捷版采用半壳原理，对接速度将提升两倍
5G医疗成资本新宠,智慧医疗大有可为
立讯精密是做什么的
三星盈利预警背后:更大的麻烦
华为笔记本能升级鸿蒙系统吗
使用可配置的数字IO为您的工业控制器提供优势
微型电机行业新蓝海——无人机
三星Galaxy Note 10.1将于8月16在香港发售
为什么小家电的充电器不能做成通用的
如何对微控制器进行省电管理
山西移动下线8元4G套餐，5G真的要来了吗？
电量传感器灌封工艺及常见问题解决方案
C8051F020触摸屏驱动控制
在非洲卖得最火的国产手机不是华为而是它!原因竟是这个!