Yolov3&Yolov4核心基础知识
文章目录
1. 论文汇总 2. yolov3核心基础内容 2.1 网络结构可视化 2.2 网络结构图 2.3 核心基础内容 3. yolov3相关代码 3.1 python代码 3.2 c++代码内容 3.3 python版本的tensorrt代码 3.4 c++版本的tensorrt代码 4. yolov4核心基础内容 4.1 网络结构可视化 4.2 网络结构图 4.3 核心基础内容 4.3.1 输入端创新 4.3.2 backbone创新 4.3.3 neck创新 4.4.4 prediction创新 5. yolov4相关代码 5.1 python代码 5.2 c++代码
1.论文汇总
yolov3论文名：《yolov3: an incremental improvement》
yolov3论文地址：https://arxiv.org/pdf/1804.02767.pdf
yolov4论文名：《yolov4: optimal speed and accuracy of object detection》
yolov4论文地址：https://arxiv.org/pdf/2004.10934.pdf
2.yolov3核心基础内容
2.1 网络结构可视化
yolov3是目标检测yolo系列非常非常经典的算法，不过很多同学拿到yolov3或者yolov4的cfg文件时，并不知道如何直观的可视化查看网络结构。如果纯粹看cfg里面的内容，肯定会一脸懵逼。
其实可以很方便的用netron查看yolov3的网络结构图，一目了然。
2.2 网络结构图
上图三个蓝色方框内表示yolov3的三个基本组件：
cbl：yolov3网络结构中的最小组件，由conv+bn+leaky_relu激活函数三者组成。
res unit：借鉴resnet网络中的残差结构，让网络可以构建的更深。
resx：由一个cbl和x个残差组件构成，是yolov3中的大组件。每个res模块前面的cbl都起到下采样的作用，因此经过5次res模块后，得到的特征图是608->304->152->76->38->19大小。
其他基础操作：
concat：张量拼接，会扩充两个张量的维度，例如26*26*256和26*26*512两个张量拼接，结果是26*26*768。concat和cfg文件中的route功能一样。
add：张量相加，张量直接相加，不会扩充维度，例如104*104*128和104*104*128相加，结果还是104*104*128。add和cfg文件中的shortcut功能一样。
backbone中卷积层的数量：
每个resx中包含1+2*x个卷积层，因此整个主干网络backbone中一共包含1+（1+2*1）+（1+2*2）+（1+2*8）+（1+2*8）+（1+2*4）=52，再加上一个fc全连接层，即可以组成一个darknet53分类网络。不过在目标检测yolov3中，去掉fc层，不过为了方便称呼，仍然把yolov3的主干网络叫做darknet53结构。
2.3 核心基础内容
yolov3是2018年发明提出的，这成为了目标检测one-stage中非常经典的算法，包含darknet-53网络结构、anchor锚框、fpn等非常优秀的结构。
本文主要目的在于描述yolov4和yolov3算法的不同及创新之处，对yolov3的基础不过多描述。
不过大白也正在准备yolov3算法非常浅显易懂的基础视频课程，让小白也能简单清楚的了解yolov3的整个过程及各个算法细节，制作好后会更新到此处，便于大家查看。
在准备课程过程中，大白搜集查看了网络上几乎所有的yolov3资料，在此整理几个非常不错的文章及视频，大家也可以点击查看，学习相关知识。
（1）视频：吴恩达目标检测yolo入门讲解
https://www.bilibili.com/video/bv1n4411j7y6?from=search&seid=18074481568368507115
（2）文章：yolo系列之yolov3【深度解析】
https://blog.csdn.net/leviopku/article/details/82660381
（3）文章：一文看懂yolov3
https://blog.csdn.net/litt1e/article/details/88907542
相信大家看完，对于yolov3的基础知识点会有一定的了解。
3.yolov3相关代码
3.1 python代码
代码地址：https://github.com/ultralytics/yolov3
3.2 c++代码
这里推荐yolov4作者的darknetab代码，代码和原始作者代码相比，进行了很多的优化，如需要运行yolov3网络，加载cfg时，使用yolov3.cfg即可
代码地址：https://github.com/alexeyab/darknet
3.3 python版本的tensorrt代码
除了算法研究外，实际项目中还需要将算法落地部署到工程上使用，比如gpu服务器使用时还需要对模型进行tensorrt加速。
（1）tensort中的加速案例
强烈推荐tensort软件中，自带的yolov3加速案例，路径位于tensorrt解压文件夹的tensortx/samples/python/yolov3_onnx中
针对案例中的代码，如果有不明白的，也可参照下方文章上的详细说明：
代码地址：https://www.cnblogs.com/shouhuxianjian/p/10550262.html
（2）github上的tensorrt加速
除了tensorrt软件中的代码， github上也有其他作者的开源代码
代码地址：https://github.com/lewes6369/tensorrt-yolov3
3.4 c++版本的tensorrt代码
项目的工程部署上，如果使用c++版本进行tensorrt加速，一方面可以参照alexey的github代码，另一方面也可以参照下面其他作者的开源代码
代码地址：https://github.com/wang-xinyu/tensorrtx/tree/master/yolov3
4.yolov4核心基础内容
4.1 网络结构可视化
yolov4的网络结构也可以使用netron工具查看。
4.2 网络结构图
yolov4的结构图和yolov3相比，因为多了csp结构，pan结构，如果单纯看可视化流程图，会觉得很绕，不过在绘制出上面的图形后，会觉得豁然开朗，其实整体架构和yolov3是相同的，不过使用各种新的算法思想对各个子结构都进行了改进。
先整理下yolov4的五个基本组件：
cbm：yolov4网络结构中的最小组件，由conv+bn+mish激活函数三者组成。
cbl：由conv+bn+leaky_relu激活函数三者组成。
res unit：借鉴resnet网络中的残差结构，让网络可以构建的更深。
cspx：借鉴cspnet网络结构，由三个卷积层和x个res unint模块concate组成。
spp：采用1×1，5×5，9×9，13×13的最大池化的方式，进行多尺度融合。
其他基础操作：
concat：张量拼接，维度会扩充，和yolov3中的解释一样，对应于cfg文件中的route操作。
add：张量相加，不会扩充维度，对应于cfg文件中的shortcut操作。
backbone中卷积层的数量：
和yolov3一样，再来数一下backbone里面的卷积层数量。
每个cspx中包含3+2*x个卷积层，因此整个主干网络backbone中一共包含2+（3+2*1）+2+（3+2*2）+2+（3+2*8）+2+（3+2*8）+2+（3+2*4）+1=72。
这里大白有些疑惑，按照yolov3设计的传统，这么多卷积层，主干网络不应该叫cspdaeknet73吗？？？？
4.3 核心基础内容
yolov4本质上和yolov3相差不大，可能有些人会觉得失望。
但我觉得算法创新分为三种方式：
第一种：面目一新的创新，比如yolov1、faster-rcnn、centernet等，开创出新的算法领域，不过这种也是最难的
第二种：守正出奇的创新，比如将图像金字塔改进为特征金字塔
第三种：各种先进算法集成的创新，比如不同领域发表的最新论文的tricks，集成到自己的算法中，却发现有出乎意料的改进
yolov4既有第二种也有第三种创新，组合尝试了大量深度学习领域最新论文的20多项研究成果，而且不得不佩服的是作者alexey在github代码库维护的频繁程度。
目前yolov4代码的star数量已经1万多，据我所了解，目前超过这个数量的，目标检测领域只有facebook的detectron(v1-v2)、和yolo(v1-v3)官方代码库（已停止更新）。
所以yolov4中的各种创新方式，大白觉得还是很值得仔细研究的。
为了便于分析，将yolov4的整体结构拆分成四大板块：
大白主要从以上4个部分对yolov4的创新之处进行讲解，让大家一目了然。
输入端：这里指的创新主要是训练时对输入端的改进，主要包括mosaic数据增强、cmbn、sat自对抗训练
backbone主干网络：将各种新的方式结合起来，包括：cspdarknet53、mish激活函数、dropblock
neck：目标检测网络在backbone和最后的输出层之间往往会插入一些层，比如yolov4中的spp模块、fpn+pan结构
prediction：输出层的锚框机制和yolov3相同，主要改进的是训练时的损失函数ciou_loss，以及预测框筛选的nms变为diou_nms
总体来说，yolov4对yolov3的各个部分都进行了改进优化，下面丢上作者的算法对比图。
仅对比yolov3和yolov4，在coco数据集上，同样的fps等于83左右时，yolov4的ap是43，而yolov3是33，直接上涨了10个百分点。
不得不服，当然可能针对具体不同的数据集效果也不一样，但总体来说，改进效果是很优秀的，下面大白对yolov4的各个创新点继续进行深挖。
4.3.1 输入端创新
考虑到很多同学gpu显卡数量并不是很多，yolov4对训练时的输入端进行改进，使得训练在单张gpu上也能有不错的成绩。比如数据增强mosaic、cmbn、sat自对抗训练。
但感觉cmbn和sat影响并不是很大，所以这里主要讲解mosaic数据增强。
（1）mosaic数据增强
yolov4中使用的mosaic是参考2019年底提出的cutmix数据增强的方式，但cutmix只使用了两张图片进行拼接，而mosaic数据增强则采用了4张图片，随机缩放、随机裁剪、随机排布的方式进行拼接。
这里首先要了解为什么要进行mosaic数据增强呢？
在平时项目训练时，小目标的ap一般比中目标和大目标低很多。而coco数据集中也包含大量的小目标，但比较麻烦的是小目标的分布并不均匀。
首先看下小、中、大目标的定义： 2019年发布的论文《augmentation for small object detection》对此进行了区分：
可以看到小目标的定义是目标框的长宽0×0~32×32之间的物体。
但在整体的数据集中，小、中、大目标的占比并不均衡。 如上表所示，coco数据集中小目标占比达到41.4%，数量比中目标和大目标都要多。
但在所有的训练集图片中，只有52.3%的图片有小目标，而中目标和大目标的分布相对来说更加均匀一些。
针对这种状况，yolov4的作者采用了mosaic数据增强的方式。
主要有几个优点：
丰富数据集：随机使用4张图片，随机缩放，再随机分布进行拼接，大大丰富了检测数据集，特别是随机缩放增加了很多小目标，让网络的鲁棒性更好。
减少gpu：可能会有人说，随机缩放，普通的数据增强也可以做，但作者考虑到很多人可能只有一个gpu，因此mosaic增强训练时，可以直接计算4张图片的数据，使得mini-batch大小并不需要很大，一个gpu就可以达到比较好的效果。
此外，发现另一研究者的训练方式也值得借鉴，采用的数据增强和mosaic比较类似，也是使用4张图片（不是随机分布），但训练计算loss时，采用“缺啥补啥”的思路：
如果上一个iteration中，小物体产生的loss不足（比如小于某一个阈值），则下一个iteration就用拼接图；否则就用正常图片训练，也很有意思。
参考链接：https://www.zhihu.com/question/390191723?rf=390194081
4.3.2 backbone创新
（1）cspdarknet53
cspdarknet53是在yolov3主干网络darknet53的基础上，借鉴2019年cspnet的经验，产生的backbone结构，其中包含了5个csp模块。
这里因为csp模块比较长，不放到本处，大家也可以点击yolov4的netron网络结构图，对比查看，一目了然。
每个csp模块前面的卷积核的大小都是3*3，stride=2，因此可以起到下采样的作用。
因为backbone有5个csp模块，输入图像是608*608，所以特征图变化的规律是：608->304->152->76->38->19
经过5次csp模块后得到19*19大小的特征图。
而且作者只在backbone中采用了mish激活函数，网络后面仍然采用leaky_relu激活函数。
我们再看看下作者为啥要参考2019年的cspnet，采用csp模块？
cspnet论文地址：https://arxiv.org/pdf/1911.11929.pdf
cspnet全称是cross stage paritial network，主要从网络结构设计的角度解决推理中从计算量很大的问题。
cspnet的作者认为推理计算过高的问题是由于网络优化中的梯度信息重复导致的。
因此采用csp模块先将基础层的特征映射划分为两部分，然后通过跨阶段层次结构将它们合并，在减少了计算量的同时可以保证准确率。
因此yolov4在主干网络backbone采用cspdarknet53网络结构，主要有三个方面的优点：
优点一：增强cnn的学习能力，使得在轻量化的同时保持准确性。
优点二：降低计算瓶颈
优点三：降低内存成本
（2）mish激活函数
mish激活函数是2019年下半年提出的激活函数
论文地址：https://arxiv.org/abs/1908.08681
和leaky_relu激活函数的图形对比如下：
yolov4的backbone中都使用了mish激活函数，而后面的网络则还是使用leaky_relu函数。
yolov4作者实验测试时，使用cspdarknet53网络在imagenet数据集上做图像分类任务，发现使用了mish激活函数的top-1和top-5的精度比没有使用时都略高一些。
因此在设计yolov4目标检测任务时，主干网络backbone还是使用mish激活函数。
（3）dropblock
yolov4中使用的dropblock，其实和常见网络中的dropout功能类似，也是缓解过拟合的一种正则化方式。
dropblock在2018年提出，论文地址：https://arxiv.org/pdf/1810.12890.pdf
传统的dropout很简单，一句话就可以说的清：随机删除减少神经元的数量，使网络变得更简单。
而dropblock和dropout相似，比如下图：
中间dropout的方式会随机的删减丢弃一些信息，但dropblock的研究者认为，卷积层对于这种随机丢弃并不敏感，因为卷积层通常是三层连用：卷积+激活+池化层，池化层本身就是对相邻单元起作用。而且即使随机丢弃，卷积层仍然可以从相邻的激活单元学习到相同的信息。
因此，在全连接层上效果很好的dropout在卷积层上效果并不好。
所以右图dropblock的研究者则干脆整个局部区域进行删减丢弃。
这种方式其实是借鉴2017年的cutout数据增强的方式，cutout是将输入图像的部分区域清零，而dropblock则是将cutout应用到每一个特征图。而且并不是用固定的归零比率，而是在训练时以一个小的比率开始，随着训练过程线性的增加这个比率。
dropblock的研究者与cutout进行对比验证时，发现有几个特点：
优点一：dropblock的效果优于cutout
优点二：cutout只能作用于输入层，而dropblock则是将cutout应用到网络中的每一个特征图上
优点三：dropblock可以定制各种组合，在训练的不同阶段可以修改删减的概率，从空间层面和时间层面，和cutout相比都有更精细的改进。
yolov4中直接采用了更优的dropblock，对网络的正则化过程进行了全面的升级改进。
4.3.3 neck创新
在目标检测领域，为了更好的提取融合特征，通常在backbone和输出层，会插入一些层，这个部分称为neck。相当于目标检测网络的颈部，也是非常关键的。
yolov4的neck结构主要采用了spp模块、fpn+pan的方式。
（1）spp模块
spp模块，其实在yolov3中已经存在了，在yolov4的c++代码文件夹中有一个yolov3_spp版本，但有的同学估计从来没有使用过，在yolov4中，spp模块仍然是在backbone主干网络之后：
作者在spp模块中，使用k={1*1,5*5,9*9,13*13}的最大池化的方式，再将不同尺度的特征图进行concat操作。
在2019提出的《dc-spp-yolo》文章：https://arxiv.org/ftp/arxiv/papers/1903/1903.08589.pdf
也对yolo目标检测的spp模块进行了对比测试。
和yolov4作者的研究相同，采用spp模块的方式，比单纯的使用k*k最大池化的方式，更有效的增加主干特征的接收范围，显著的分离了最重要的上下文特征。
yolov4的作者在使用608*608大小的图像进行测试时发现，在coco目标检测任务中，以0.5%的额外计算代价将ap50增加了2.7%，因此yolov4中也采用了spp模块。
（2）fpn+pan
pan结构比较有意思，看了网上yolov4关于这个部分的讲解，大多都是讲的比较笼统的，而pan是借鉴图像分割领域panet的创新点，有些同学可能不是很清楚。
下面大白将这个部分拆解开来，看下yolov4中是如何设计的。
yolov3结构：
我们先来看下yolov3中neck的fpn结构
可以看到经过几次下采样，三个紫色箭头指向的地方，输出分别是76*76、38*38、19*19。
以及最后的prediction中用于预测的三个特征图①19*19*255、②38*38*255、③76*76*255。[注：255表示80类别(1+4+80)×3=255]
我们将neck部分用立体图画出来，更直观的看下两部分之间是如何通过fpn结构融合的。
如图所示，fpn是自顶向下的，将高层的特征信息通过上采样的方式进行传递融合，得到进行预测的特征图。
yolov4结构：
而yolov4中neck这部分除了使用fpn外，还在此基础上使用了pan结构：
前面cspdarknet53中讲到，每个csp模块前面的卷积核都是3*3大小，相当于下采样操作。
因此可以看到三个紫色箭头处的特征图是76*76、38*38、19*19。
以及最后prediction中用于预测的三个特征图：①76*76*255，②38*38*255，③19*19*255。
我们也看下neck部分的立体图像，看下两部分是如何通过fpn+pan结构进行融合的。
和yolov3的fpn层不同，yolov4在fpn层的后面还添加了一个自底向上的特征金字塔。
其中包含两个pan结构。
这样结合操作，fpn层自顶向下传达强语义特征，而特征金字塔则自底向上传达强定位特征，两两联手，从不同的主干层对不同的检测层进行参数聚合,这样的操作确实很皮。
fpn+pan借鉴的是18年cvpr的panet，当时主要应用于图像分割领域，但alexey将其拆分应用到yolov4中，进一步提高特征提取的能力。
不过这里需要注意几点：
注意一：
yolov3的fpn层输出的三个大小不一的特征图①②③直接进行预测
但yolov4的fpn层，只使用最后的一个76*76特征图①，而经过两次pan结构，输出预测的特征图②和③。
这里的不同也体现在cfg文件中，这一点有很多同学之前不太明白，
比如yolov3.cfg最后的三个yolo层，
第一个yolo层是最小的特征图19*19，mask=6,7,8，对应最大的anchor box。
第二个yolo层是中等的特征图38*38，mask=3,4,5，对应中等的anchor box。
第三个yolo层是最大的特征图76*76，mask=0,1,2，对应最小的anchor box。
而yolov4.cfg则恰恰相反
第一个yolo层是最大的特征图76*76，mask=0,1,2，对应最小的anchor box。
第二个yolo层是中等的特征图38*38，mask=3,4,5，对应中等的anchor box。
第三个yolo层是最小的特征图19*19，mask=6,7,8，对应最大的anchor box。
注意点二：
原本的panet网络的pan结构中，两个特征图结合是采用shortcut操作，而yolov4中则采用concat（route）操作，特征图融合后的尺寸发生了变化。
这里也可以对应yolov4的netron网络图查看，很有意思。
4.3.4 prediction创新
（1）ciou_loss
目标检测任务的损失函数一般由classificition loss（分类损失函数）和bounding box regeression loss（回归损失函数）两部分构成。
bounding box regeression的loss近些年的发展过程是：smooth l1 loss-> iou loss（2016）-> giou loss（2019）-> diou loss（2020）->ciou loss（2020）
我们从最常用的iou_loss开始，进行对比拆解分析，看下yolov4为啥要选择ciou_loss。
a.iou_loss
可以看到iou的loss其实很简单，主要是交集/并集，但其实也存在两个问题。
问题1：即状态1的情况，当预测框和目标框不相交时，iou=0，无法反应两个框距离的远近，此时损失函数不可导，iou_loss无法优化两个框不相交的情况。
问题2：即状态2和状态3的情况，当两个预测框大小相同，两个iou也相同，iou_loss无法区分两者相交情况的不同。
因此2019年出现了giou_loss来进行改进。
b.giou_loss
可以看到右图giou_loss中，增加了相交尺度的衡量方式，缓解了单纯iou_loss时的尴尬。
但为什么仅仅说缓解呢？
因为还存在一种不足：
问题：状态1、2、3都是预测框在目标框内部且预测框大小一致的情况，这时预测框和目标框的差集都是相同的，因此这三种状态的giou值也都是相同的，这时giou退化成了iou，无法区分相对位置关系。 基于这个问题，2020年的aaai又提出了diou_loss。
c.diou_loss
好的目标框回归函数应该考虑三个重要几何因素：重叠面积、中心点距离，长宽比。
针对iou和giou存在的问题，作者从两个方面进行考虑
一：如何最小化预测框和目标框之间的归一化距离？
二：如何在预测框和目标框重叠时，回归的更准确？
针对第一个问题，提出了diou_loss（distance_iou_loss）
diou_loss考虑了重叠面积和中心点距离，当目标框包裹预测框的时候，直接度量2个框的距离，因此diou_loss收敛的更快。
但就像前面好的目标框回归函数所说的，没有考虑到长宽比。
比如上面三种情况，目标框包裹预测框，本来diou_loss可以起作用。
但预测框的中心点的位置都是一样的，因此按照diou_loss的计算公式，三者的值都是相同的。
针对这个问题，又提出了ciou_loss，不对不说，科学总是在解决问题中，不断进步！！
d.ciou_loss
ciou_loss和diou_loss前面的公式都是一样的，不过在此基础上还增加了一个影响因子，将预测框和目标框的长宽比都考虑了进去。
其中v是衡量长宽比一致性的参数，我们也可以定义为：
这样ciou_loss就将目标框回归函数应该考虑三个重要几何因素：重叠面积、中心点距离，长宽比全都考虑进去了。
再来综合的看下各个loss函数的不同点：
iou_loss：主要考虑检测框和目标框重叠面积。
giou_loss：在iou的基础上，解决边界框不重合时的问题。
diou_loss：在iou和giou的基础上，考虑边界框中心点距离的信息。
ciou_loss：在diou的基础上，考虑边界框宽高比的尺度信息。
yolov4中采用了ciou_loss的回归方式，使得预测框回归的速度和精度更高一些。
（2）diou_nms
nms主要用于预测框的筛选，常用的目标检测算法中，一般采用普通的nms的方式，yolov4则借鉴上面d/ciou loss的论文：arxiv.org/pdf/1911.0828
将其中计算iou的部分替换成diou的方式：
再来看下实际的案例
在上图重叠的摩托车检测中，中间的摩托车因为考虑边界框中心点的位置信息，也可以回归出来。
因此在重叠目标的检测中，diou_nms的效果优于传统的nms。
注意：有读者会有疑问，这里为什么不用ciou_nms，而用diou_nms?
答：因为前面讲到的ciou_loss，是在diou_loss的基础上，添加的影响因子，包含groundtruth标注框的信息，在训练时用于回归。
但在测试过程中，并没有groundtruth的信息，不用考虑影响因子，因此直接用diou_nms即可。
总体来说，yolov4的论文称的上良心之作，将近几年关于深度学习领域最新研究的tricks移植到yolov4中做验证测试，将yolov3的精度提高了不少。
虽然没有全新的创新，但很多改进之处都值得借鉴，借用yolov4作者的总结。
yolov4 主要带来了 3 点新贡献：
（1）提出了一种高效而强大的目标检测模型，使用 1080ti 或 2080ti 就能训练出超快、准确的目标检测器。
（2）在检测器训练过程中，验证了最先进的一些研究成果对目标检测器的影响。
（3）改进了 sota 方法，使其更有效、更适合单 gpu 训练。
5.yolov4相关代码
5.1 python代码
代码地址：https://github.com/tianxiaomo/pytorch-yolov4
作者的训练和测试推理代码都已经完成
5.2 c++代码
yolov4作者alexey的代码，俄罗斯的大神，应该是个独立研究员，更新算法的频繁程度令人佩服。
在yolov3作者joseph redmon宣布停止更新yolo算法之后，alexey凭借对于yolov3算法的不断探索研究，赢得了yolov3作者的认可，发布了yolov4。
代码地址：https://github.com/alexeyab/darknet
HDMI光端机的功能特点和应用场景分析
数据线总是损坏的三大原因
国行三星Note8首摔，戴着保护壳也无济于事，看着真心疼！
华为HMS的生态新跑道 HMS的生态基建为全球开发者铺路
3G手机射频集成障碍
Yolov3&Yolov4核心基础知识
ios10.3.2公测版发布，是良心还是挖坑？重新支持32位设备，神速关闭ios10.2.1和ios10.3的系统验证通道
智能化汽车如何发展,四维智联提出智能座舱交互思考
如何使用ARM7-LPC2148微控制器中的PWM控制LED的亮度
MSH二级补全API使用示例
全新RedmiBook Pro下月即将首发
PCB布局时去耦电容安装在哪里比较好
蓝牙耳机怎么用
ADI携最新低功耗主动降噪芯片亮相蓝牙耳机展
中商北斗和币安中国区块链研究院合作 助力中国数字经济发展
盘古大模型和混元模型的区别
机器人零拷贝数据传输编程开发
华勤H8230 4U8卡AI服务器，助力企业数字化转型价值提升
踏歌智行参编的《智能化矿山数据融合共享规范》正式发布
CNR插槽
1. 论文汇总 2. yolov3核心基础内容 2.1 网络结构可视化 2.2 网络结构图 2.3 核心基础内容 3. yolov3相关代码 3.1 python代码 3.2 c++代码内容 3.3 python版本的tensorrt代码 3.4 c++版本的tensorrt代码 4. yolov4核心基础内容 4.1 网络结构可视化 4.2 网络结构图 4.3 核心基础内容 4.3.1 输入端创新 4.3.2 backbone创新 4.3.3 neck创新 4.4.4 prediction创新 5. yolov4相关代码 5.1 python代码 5.2 c++代码
1.论文汇总
yolov3论文名：《yolov3: an incremental improvement》
yolov3论文地址：https://arxiv.org/pdf/1804.02767.pdf
yolov4论文名：《yolov4: optimal speed and accuracy of object detection》
yolov4论文地址：https://arxiv.org/pdf/2004.10934.pdf
2.yolov3核心基础内容
2.1 网络结构可视化
yolov3是目标检测yolo系列非常非常经典的算法，不过很多同学拿到yolov3或者yolov4的cfg文件时，并不知道如何直观的可视化查看网络结构。如果纯粹看cfg里面的内容，肯定会一脸懵逼。
其实可以很方便的用netron查看yolov3的网络结构图，一目了然。
2.2 网络结构图
上图三个蓝色方框内表示yolov3的三个基本组件：
cbl：yolov3网络结构中的最小组件，由conv+bn+leaky_relu激活函数三者组成。
res unit：借鉴resnet网络中的残差结构，让网络可以构建的更深。
resx：由一个cbl和x个残差组件构成，是yolov3中的大组件。每个res模块前面的cbl都起到下采样的作用，因此经过5次res模块后，得到的特征图是608->304->152->76->38->19大小。
其他基础操作：
concat：张量拼接，会扩充两个张量的维度，例如26*26*256和26*26*512两个张量拼接，结果是26*26*768。concat和cfg文件中的route功能一样。
add：张量相加，张量直接相加，不会扩充维度，例如104*104*128和104*104*128相加，结果还是104*104*128。add和cfg文件中的shortcut功能一样。
backbone中卷积层的数量：
每个resx中包含1+2*x个卷积层，因此整个主干网络backbone中一共包含1+（1+2*1）+（1+2*2）+（1+2*8）+（1+2*8）+（1+2*4）=52，再加上一个fc全连接层，即可以组成一个darknet53分类网络。不过在目标检测yolov3中，去掉fc层，不过为了方便称呼，仍然把yolov3的主干网络叫做darknet53结构。
2.3 核心基础内容
yolov3是2018年发明提出的，这成为了目标检测one-stage中非常经典的算法，包含darknet-53网络结构、anchor锚框、fpn等非常优秀的结构。
本文主要目的在于描述yolov4和yolov3算法的不同及创新之处，对yolov3的基础不过多描述。
不过大白也正在准备yolov3算法非常浅显易懂的基础视频课程，让小白也能简单清楚的了解yolov3的整个过程及各个算法细节，制作好后会更新到此处，便于大家查看。
在准备课程过程中，大白搜集查看了网络上几乎所有的yolov3资料，在此整理几个非常不错的文章及视频，大家也可以点击查看，学习相关知识。
（1）视频：吴恩达目标检测yolo入门讲解
https://www.bilibili.com/video/bv1n4411j7y6?from=search&seid=18074481568368507115
（2）文章：yolo系列之yolov3【深度解析】
https://blog.csdn.net/leviopku/article/details/82660381
（3）文章：一文看懂yolov3
https://blog.csdn.net/litt1e/article/details/88907542
相信大家看完，对于yolov3的基础知识点会有一定的了解。
3.yolov3相关代码
3.1 python代码
代码地址：https://github.com/ultralytics/yolov3
3.2 c++代码
这里推荐yolov4作者的darknetab代码，代码和原始作者代码相比，进行了很多的优化，如需要运行yolov3网络，加载cfg时，使用yolov3.cfg即可
代码地址：https://github.com/alexeyab/darknet
3.3 python版本的tensorrt代码
除了算法研究外，实际项目中还需要将算法落地部署到工程上使用，比如gpu服务器使用时还需要对模型进行tensorrt加速。
（1）tensort中的加速案例
强烈推荐tensort软件中，自带的yolov3加速案例，路径位于tensorrt解压文件夹的tensortx/samples/python/yolov3_onnx中
针对案例中的代码，如果有不明白的，也可参照下方文章上的详细说明：
代码地址：https://www.cnblogs.com/shouhuxianjian/p/10550262.html
（2）github上的tensorrt加速
除了tensorrt软件中的代码， github上也有其他作者的开源代码
代码地址：https://github.com/lewes6369/tensorrt-yolov3
3.4 c++版本的tensorrt代码
项目的工程部署上，如果使用c++版本进行tensorrt加速，一方面可以参照alexey的github代码，另一方面也可以参照下面其他作者的开源代码
代码地址：https://github.com/wang-xinyu/tensorrtx/tree/master/yolov3
4.yolov4核心基础内容
4.1 网络结构可视化
yolov4的网络结构也可以使用netron工具查看。
4.2 网络结构图
yolov4的结构图和yolov3相比，因为多了csp结构，pan结构，如果单纯看可视化流程图，会觉得很绕，不过在绘制出上面的图形后，会觉得豁然开朗，其实整体架构和yolov3是相同的，不过使用各种新的算法思想对各个子结构都进行了改进。
先整理下yolov4的五个基本组件：
cbm：yolov4网络结构中的最小组件，由conv+bn+mish激活函数三者组成。
cbl：由conv+bn+leaky_relu激活函数三者组成。
res unit：借鉴resnet网络中的残差结构，让网络可以构建的更深。
cspx：借鉴cspnet网络结构，由三个卷积层和x个res unint模块concate组成。
spp：采用1×1，5×5，9×9，13×13的最大池化的方式，进行多尺度融合。
其他基础操作：
concat：张量拼接，维度会扩充，和yolov3中的解释一样，对应于cfg文件中的route操作。
add：张量相加，不会扩充维度，对应于cfg文件中的shortcut操作。
backbone中卷积层的数量：
和yolov3一样，再来数一下backbone里面的卷积层数量。
每个cspx中包含3+2*x个卷积层，因此整个主干网络backbone中一共包含2+（3+2*1）+2+（3+2*2）+2+（3+2*8）+2+（3+2*8）+2+（3+2*4）+1=72。
这里大白有些疑惑，按照yolov3设计的传统，这么多卷积层，主干网络不应该叫cspdaeknet73吗？？？？
4.3 核心基础内容
yolov4本质上和yolov3相差不大，可能有些人会觉得失望。
但我觉得算法创新分为三种方式：
第一种：面目一新的创新，比如yolov1、faster-rcnn、centernet等，开创出新的算法领域，不过这种也是最难的
第二种：守正出奇的创新，比如将图像金字塔改进为特征金字塔
第三种：各种先进算法集成的创新，比如不同领域发表的最新论文的tricks，集成到自己的算法中，却发现有出乎意料的改进
yolov4既有第二种也有第三种创新，组合尝试了大量深度学习领域最新论文的20多项研究成果，而且不得不佩服的是作者alexey在github代码库维护的频繁程度。
目前yolov4代码的star数量已经1万多，据我所了解，目前超过这个数量的，目标检测领域只有facebook的detectron(v1-v2)、和yolo(v1-v3)官方代码库（已停止更新）。
所以yolov4中的各种创新方式，大白觉得还是很值得仔细研究的。
为了便于分析，将yolov4的整体结构拆分成四大板块：
大白主要从以上4个部分对yolov4的创新之处进行讲解，让大家一目了然。
输入端：这里指的创新主要是训练时对输入端的改进，主要包括mosaic数据增强、cmbn、sat自对抗训练
backbone主干网络：将各种新的方式结合起来，包括：cspdarknet53、mish激活函数、dropblock
neck：目标检测网络在backbone和最后的输出层之间往往会插入一些层，比如yolov4中的spp模块、fpn+pan结构
prediction：输出层的锚框机制和yolov3相同，主要改进的是训练时的损失函数ciou_loss，以及预测框筛选的nms变为diou_nms
总体来说，yolov4对yolov3的各个部分都进行了改进优化，下面丢上作者的算法对比图。
仅对比yolov3和yolov4，在coco数据集上，同样的fps等于83左右时，yolov4的ap是43，而yolov3是33，直接上涨了10个百分点。
不得不服，当然可能针对具体不同的数据集效果也不一样，但总体来说，改进效果是很优秀的，下面大白对yolov4的各个创新点继续进行深挖。
4.3.1 输入端创新
考虑到很多同学gpu显卡数量并不是很多，yolov4对训练时的输入端进行改进，使得训练在单张gpu上也能有不错的成绩。比如数据增强mosaic、cmbn、sat自对抗训练。
但感觉cmbn和sat影响并不是很大，所以这里主要讲解mosaic数据增强。
（1）mosaic数据增强
yolov4中使用的mosaic是参考2019年底提出的cutmix数据增强的方式，但cutmix只使用了两张图片进行拼接，而mosaic数据增强则采用了4张图片，随机缩放、随机裁剪、随机排布的方式进行拼接。
这里首先要了解为什么要进行mosaic数据增强呢？
在平时项目训练时，小目标的ap一般比中目标和大目标低很多。而coco数据集中也包含大量的小目标，但比较麻烦的是小目标的分布并不均匀。
首先看下小、中、大目标的定义： 2019年发布的论文《augmentation for small object detection》对此进行了区分：
可以看到小目标的定义是目标框的长宽0×0~32×32之间的物体。
但在整体的数据集中，小、中、大目标的占比并不均衡。 如上表所示，coco数据集中小目标占比达到41.4%，数量比中目标和大目标都要多。
但在所有的训练集图片中，只有52.3%的图片有小目标，而中目标和大目标的分布相对来说更加均匀一些。
针对这种状况，yolov4的作者采用了mosaic数据增强的方式。
主要有几个优点：
丰富数据集：随机使用4张图片，随机缩放，再随机分布进行拼接，大大丰富了检测数据集，特别是随机缩放增加了很多小目标，让网络的鲁棒性更好。
减少gpu：可能会有人说，随机缩放，普通的数据增强也可以做，但作者考虑到很多人可能只有一个gpu，因此mosaic增强训练时，可以直接计算4张图片的数据，使得mini-batch大小并不需要很大，一个gpu就可以达到比较好的效果。
此外，发现另一研究者的训练方式也值得借鉴，采用的数据增强和mosaic比较类似，也是使用4张图片（不是随机分布），但训练计算loss时，采用“缺啥补啥”的思路：
如果上一个iteration中，小物体产生的loss不足（比如小于某一个阈值），则下一个iteration就用拼接图；否则就用正常图片训练，也很有意思。
参考链接：https://www.zhihu.com/question/390191723?rf=390194081
4.3.2 backbone创新
（1）cspdarknet53
cspdarknet53是在yolov3主干网络darknet53的基础上，借鉴2019年cspnet的经验，产生的backbone结构，其中包含了5个csp模块。
这里因为csp模块比较长，不放到本处，大家也可以点击yolov4的netron网络结构图，对比查看，一目了然。
每个csp模块前面的卷积核的大小都是3*3，stride=2，因此可以起到下采样的作用。
因为backbone有5个csp模块，输入图像是608*608，所以特征图变化的规律是：608->304->152->76->38->19
经过5次csp模块后得到19*19大小的特征图。
而且作者只在backbone中采用了mish激活函数，网络后面仍然采用leaky_relu激活函数。
我们再看看下作者为啥要参考2019年的cspnet，采用csp模块？
cspnet论文地址：https://arxiv.org/pdf/1911.11929.pdf
cspnet全称是cross stage paritial network，主要从网络结构设计的角度解决推理中从计算量很大的问题。
cspnet的作者认为推理计算过高的问题是由于网络优化中的梯度信息重复导致的。
因此采用csp模块先将基础层的特征映射划分为两部分，然后通过跨阶段层次结构将它们合并，在减少了计算量的同时可以保证准确率。
因此yolov4在主干网络backbone采用cspdarknet53网络结构，主要有三个方面的优点：
优点一：增强cnn的学习能力，使得在轻量化的同时保持准确性。
优点二：降低计算瓶颈
优点三：降低内存成本
（2）mish激活函数
mish激活函数是2019年下半年提出的激活函数
论文地址：https://arxiv.org/abs/1908.08681
和leaky_relu激活函数的图形对比如下：
yolov4的backbone中都使用了mish激活函数，而后面的网络则还是使用leaky_relu函数。
yolov4作者实验测试时，使用cspdarknet53网络在imagenet数据集上做图像分类任务，发现使用了mish激活函数的top-1和top-5的精度比没有使用时都略高一些。
因此在设计yolov4目标检测任务时，主干网络backbone还是使用mish激活函数。
（3）dropblock
yolov4中使用的dropblock，其实和常见网络中的dropout功能类似，也是缓解过拟合的一种正则化方式。
dropblock在2018年提出，论文地址：https://arxiv.org/pdf/1810.12890.pdf
传统的dropout很简单，一句话就可以说的清：随机删除减少神经元的数量，使网络变得更简单。
而dropblock和dropout相似，比如下图：
中间dropout的方式会随机的删减丢弃一些信息，但dropblock的研究者认为，卷积层对于这种随机丢弃并不敏感，因为卷积层通常是三层连用：卷积+激活+池化层，池化层本身就是对相邻单元起作用。而且即使随机丢弃，卷积层仍然可以从相邻的激活单元学习到相同的信息。
因此，在全连接层上效果很好的dropout在卷积层上效果并不好。
所以右图dropblock的研究者则干脆整个局部区域进行删减丢弃。
这种方式其实是借鉴2017年的cutout数据增强的方式，cutout是将输入图像的部分区域清零，而dropblock则是将cutout应用到每一个特征图。而且并不是用固定的归零比率，而是在训练时以一个小的比率开始，随着训练过程线性的增加这个比率。
dropblock的研究者与cutout进行对比验证时，发现有几个特点：
优点一：dropblock的效果优于cutout
优点二：cutout只能作用于输入层，而dropblock则是将cutout应用到网络中的每一个特征图上
优点三：dropblock可以定制各种组合，在训练的不同阶段可以修改删减的概率，从空间层面和时间层面，和cutout相比都有更精细的改进。
yolov4中直接采用了更优的dropblock，对网络的正则化过程进行了全面的升级改进。
4.3.3 neck创新
在目标检测领域，为了更好的提取融合特征，通常在backbone和输出层，会插入一些层，这个部分称为neck。相当于目标检测网络的颈部，也是非常关键的。
yolov4的neck结构主要采用了spp模块、fpn+pan的方式。
（1）spp模块
spp模块，其实在yolov3中已经存在了，在yolov4的c++代码文件夹中有一个yolov3_spp版本，但有的同学估计从来没有使用过，在yolov4中，spp模块仍然是在backbone主干网络之后：
作者在spp模块中，使用k={1*1,5*5,9*9,13*13}的最大池化的方式，再将不同尺度的特征图进行concat操作。
在2019提出的《dc-spp-yolo》文章：https://arxiv.org/ftp/arxiv/papers/1903/1903.08589.pdf
也对yolo目标检测的spp模块进行了对比测试。
和yolov4作者的研究相同，采用spp模块的方式，比单纯的使用k*k最大池化的方式，更有效的增加主干特征的接收范围，显著的分离了最重要的上下文特征。
yolov4的作者在使用608*608大小的图像进行测试时发现，在coco目标检测任务中，以0.5%的额外计算代价将ap50增加了2.7%，因此yolov4中也采用了spp模块。
（2）fpn+pan
pan结构比较有意思，看了网上yolov4关于这个部分的讲解，大多都是讲的比较笼统的，而pan是借鉴图像分割领域panet的创新点，有些同学可能不是很清楚。
下面大白将这个部分拆解开来，看下yolov4中是如何设计的。
yolov3结构：
我们先来看下yolov3中neck的fpn结构
可以看到经过几次下采样，三个紫色箭头指向的地方，输出分别是76*76、38*38、19*19。
以及最后的prediction中用于预测的三个特征图①19*19*255、②38*38*255、③76*76*255。[注：255表示80类别(1+4+80)×3=255]
我们将neck部分用立体图画出来，更直观的看下两部分之间是如何通过fpn结构融合的。
如图所示，fpn是自顶向下的，将高层的特征信息通过上采样的方式进行传递融合，得到进行预测的特征图。
yolov4结构：
而yolov4中neck这部分除了使用fpn外，还在此基础上使用了pan结构：
前面cspdarknet53中讲到，每个csp模块前面的卷积核都是3*3大小，相当于下采样操作。
因此可以看到三个紫色箭头处的特征图是76*76、38*38、19*19。
以及最后prediction中用于预测的三个特征图：①76*76*255，②38*38*255，③19*19*255。
我们也看下neck部分的立体图像，看下两部分是如何通过fpn+pan结构进行融合的。
和yolov3的fpn层不同，yolov4在fpn层的后面还添加了一个自底向上的特征金字塔。
其中包含两个pan结构。
这样结合操作，fpn层自顶向下传达强语义特征，而特征金字塔则自底向上传达强定位特征，两两联手，从不同的主干层对不同的检测层进行参数聚合,这样的操作确实很皮。
fpn+pan借鉴的是18年cvpr的panet，当时主要应用于图像分割领域，但alexey将其拆分应用到yolov4中，进一步提高特征提取的能力。
不过这里需要注意几点：
注意一：
yolov3的fpn层输出的三个大小不一的特征图①②③直接进行预测
但yolov4的fpn层，只使用最后的一个76*76特征图①，而经过两次pan结构，输出预测的特征图②和③。
这里的不同也体现在cfg文件中，这一点有很多同学之前不太明白，
比如yolov3.cfg最后的三个yolo层，
第一个yolo层是最小的特征图19*19，mask=6,7,8，对应最大的anchor box。
第二个yolo层是中等的特征图38*38，mask=3,4,5，对应中等的anchor box。
第三个yolo层是最大的特征图76*76，mask=0,1,2，对应最小的anchor box。
而yolov4.cfg则恰恰相反
第一个yolo层是最大的特征图76*76，mask=0,1,2，对应最小的anchor box。
第二个yolo层是中等的特征图38*38，mask=3,4,5，对应中等的anchor box。
第三个yolo层是最小的特征图19*19，mask=6,7,8，对应最大的anchor box。
注意点二：
原本的panet网络的pan结构中，两个特征图结合是采用shortcut操作，而yolov4中则采用concat（route）操作，特征图融合后的尺寸发生了变化。
这里也可以对应yolov4的netron网络图查看，很有意思。
4.3.4 prediction创新
（1）ciou_loss
目标检测任务的损失函数一般由classificition loss（分类损失函数）和bounding box regeression loss（回归损失函数）两部分构成。
bounding box regeression的loss近些年的发展过程是：smooth l1 loss-> iou loss（2016）-> giou loss（2019）-> diou loss（2020）->ciou loss（2020）
我们从最常用的iou_loss开始，进行对比拆解分析，看下yolov4为啥要选择ciou_loss。
a.iou_loss
可以看到iou的loss其实很简单，主要是交集/并集，但其实也存在两个问题。
问题1：即状态1的情况，当预测框和目标框不相交时，iou=0，无法反应两个框距离的远近，此时损失函数不可导，iou_loss无法优化两个框不相交的情况。
问题2：即状态2和状态3的情况，当两个预测框大小相同，两个iou也相同，iou_loss无法区分两者相交情况的不同。
因此2019年出现了giou_loss来进行改进。
b.giou_loss
可以看到右图giou_loss中，增加了相交尺度的衡量方式，缓解了单纯iou_loss时的尴尬。
但为什么仅仅说缓解呢？
因为还存在一种不足：
问题：状态1、2、3都是预测框在目标框内部且预测框大小一致的情况，这时预测框和目标框的差集都是相同的，因此这三种状态的giou值也都是相同的，这时giou退化成了iou，无法区分相对位置关系。 基于这个问题，2020年的aaai又提出了diou_loss。
c.diou_loss
好的目标框回归函数应该考虑三个重要几何因素：重叠面积、中心点距离，长宽比。
针对iou和giou存在的问题，作者从两个方面进行考虑
一：如何最小化预测框和目标框之间的归一化距离？
二：如何在预测框和目标框重叠时，回归的更准确？
针对第一个问题，提出了diou_loss（distance_iou_loss）
diou_loss考虑了重叠面积和中心点距离，当目标框包裹预测框的时候，直接度量2个框的距离，因此diou_loss收敛的更快。
但就像前面好的目标框回归函数所说的，没有考虑到长宽比。
比如上面三种情况，目标框包裹预测框，本来diou_loss可以起作用。
但预测框的中心点的位置都是一样的，因此按照diou_loss的计算公式，三者的值都是相同的。
针对这个问题，又提出了ciou_loss，不对不说，科学总是在解决问题中，不断进步！！
d.ciou_loss
ciou_loss和diou_loss前面的公式都是一样的，不过在此基础上还增加了一个影响因子，将预测框和目标框的长宽比都考虑了进去。
其中v是衡量长宽比一致性的参数，我们也可以定义为：
这样ciou_loss就将目标框回归函数应该考虑三个重要几何因素：重叠面积、中心点距离，长宽比全都考虑进去了。
再来综合的看下各个loss函数的不同点：
iou_loss：主要考虑检测框和目标框重叠面积。
giou_loss：在iou的基础上，解决边界框不重合时的问题。
diou_loss：在iou和giou的基础上，考虑边界框中心点距离的信息。
ciou_loss：在diou的基础上，考虑边界框宽高比的尺度信息。
yolov4中采用了ciou_loss的回归方式，使得预测框回归的速度和精度更高一些。
（2）diou_nms
nms主要用于预测框的筛选，常用的目标检测算法中，一般采用普通的nms的方式，yolov4则借鉴上面d/ciou loss的论文：arxiv.org/pdf/1911.0828
将其中计算iou的部分替换成diou的方式：
再来看下实际的案例
在上图重叠的摩托车检测中，中间的摩托车因为考虑边界框中心点的位置信息，也可以回归出来。
因此在重叠目标的检测中，diou_nms的效果优于传统的nms。
注意：有读者会有疑问，这里为什么不用ciou_nms，而用diou_nms?
答：因为前面讲到的ciou_loss，是在diou_loss的基础上，添加的影响因子，包含groundtruth标注框的信息，在训练时用于回归。
但在测试过程中，并没有groundtruth的信息，不用考虑影响因子，因此直接用diou_nms即可。
总体来说，yolov4的论文称的上良心之作，将近几年关于深度学习领域最新研究的tricks移植到yolov4中做验证测试，将yolov3的精度提高了不少。
虽然没有全新的创新，但很多改进之处都值得借鉴，借用yolov4作者的总结。
yolov4 主要带来了 3 点新贡献：
（1）提出了一种高效而强大的目标检测模型，使用 1080ti 或 2080ti 就能训练出超快、准确的目标检测器。
（2）在检测器训练过程中，验证了最先进的一些研究成果对目标检测器的影响。
（3）改进了 sota 方法，使其更有效、更适合单 gpu 训练。
5.yolov4相关代码
5.1 python代码
代码地址：https://github.com/tianxiaomo/pytorch-yolov4
作者的训练和测试推理代码都已经完成
5.2 c++代码
yolov4作者alexey的代码，俄罗斯的大神，应该是个独立研究员，更新算法的频繁程度令人佩服。
在yolov3作者joseph redmon宣布停止更新yolo算法之后，alexey凭借对于yolov3算法的不断探索研究，赢得了yolov3作者的认可，发布了yolov4。
代码地址：https://github.com/alexeyab/darknet
HDMI光端机的功能特点和应用场景分析
数据线总是损坏的三大原因
国行三星Note8首摔，戴着保护壳也无济于事，看着真心疼！
华为HMS的生态新跑道 HMS的生态基建为全球开发者铺路
3G手机射频集成障碍
Yolov3&Yolov4核心基础知识
ios10.3.2公测版发布，是良心还是挖坑？重新支持32位设备，神速关闭ios10.2.1和ios10.3的系统验证通道
智能化汽车如何发展,四维智联提出智能座舱交互思考
如何使用ARM7-LPC2148微控制器中的PWM控制LED的亮度
MSH二级补全API使用示例
全新RedmiBook Pro下月即将首发
PCB布局时去耦电容安装在哪里比较好
蓝牙耳机怎么用
ADI携最新低功耗主动降噪芯片亮相蓝牙耳机展
中商北斗和币安中国区块链研究院合作 助力中国数字经济发展
盘古大模型和混元模型的区别
机器人零拷贝数据传输编程开发
华勤H8230 4U8卡AI服务器，助力企业数字化转型价值提升
踏歌智行参编的《智能化矿山数据融合共享规范》正式发布
CNR插槽