一文读懂图像分割
图像分割（image segmentation）是计算机视觉领域中的一项重要基础技术，是图像理解中的重要一环。近日，数据科学家derrick mwiti在一篇文章中，就什么是图像分割、图像分割架构、图像分割损失函数以及图像分割工具和框架等问题进行了讨论，让我们一探究竟吧。
什么是图像分割?
顾名思义，这是将一个图像分割成多个片段的过程。在这个过程中，图像中的每个像素都与一个对象类型相关联。图像分割主要有两种类型:语义分割和实例分割。
在语义分割中，同一类型的所有对象都使用一个类标签进行标记，而在实例分割中，相似的对象使用各自独立的标签。
图像分割的体系结构
图像分割的基本结构包括编码器和解码器。
编码器通过过滤器从图像中提取特征。解码器负责生成最终的输出，通常是一个包含对象轮廓的分割掩码。大多数体系结构都有这种结构或其变体，看几个例子：
u-net
u-net是最初用于分割生物医学图像的卷积神经网络。可视化时，其架构看起来像字母u，因此名称为u-net。
它的体系结构由两部分组成，左边部分是收缩路径，右边部分是扩展路径。收缩路径的目的是捕获上下文，而扩展路径的作用是帮助精确定位。
u-net由右边的扩展路径和左边的收缩路径组成。收缩路径由两个3×3的卷积组成，卷积之后是一个整流的线性单元和一个用于降采样的两乘二最大池计算。
fastfcn —fast fully-connected network
在这种结构中，联合金字塔上采样(jpu)模块被用来代替扩展卷积，因为它们消耗大量的内存和时间。它的核心是一个全连接网络，同时使用jpu进行上采样。jpu将低分辨率特征图提升为高分辨率特征图。
gated-scnn
该架构由双流cnn架构组成。在此模型中，一个单独的分支用于处理图像形状信息。形状流用于处理边界信息。
deeplab
在这种结构中，卷积与上采样滤波器用于涉及密集预测的任务。多个对象的分割是通过空间金字塔池来完成的。
最后，用dcnns改进对象边界的定位。通过插入零点或对输入特征图进行稀疏采样来对滤波器进行上采样，从而实现空洞卷积。
可以在pytorch或tensorflow上尝试其实现。
mask r-cnn
在这种体系结构中，使用bounding box和语义分割对对象进行分类和定位，并将每个像素分类为一组类别。每个感兴趣的区域都有一个分割掩码，最终的输出是一个类标签和一个bounding box。
该体系结构是faster r-cnn的扩展，faster r-cnn由提出区域的深度卷积网络和利用区域的检测器组成。
这是在coco测试集上得到的结果的图像
图像分割损失函数
语义分割模型在训练过程中通常使用一个简单的交叉熵损失函数。但是，如果对获取图像的粒度信息感兴趣，则必须恢复到稍微高级一些的损失函数，来看几个例子：
focal loss
这种损失是对标准交叉熵准则的改进。这是通过改变其形状来实现的，使得分配给分类良好的示例的损失权重降低了。最终，确保不存在类不平衡。
在这个损失函数中，交叉熵损失是会随着缩放系数衰减为零而缩，训练时，比例因数自动降低了简单示例的权重，并将重点放在困难示例上。
dice loss
该损失是通过计算平滑dice coefficient函数获得的。这种损失是最常用的损失，是分割 问题。
intersection over union (iou)-balanced loss
iou平衡分类损失的目的是增加高iou样本的梯度，降低低iou样本的梯度。从而提高了机器学习模型的定位精度。
boundary loss
boundary loss的一种变体应用于具有高度不平衡分段的任务。
这种损失的形式是空间轮廓而非区域上的距离度量。通过这种方式，它解决了高度不平衡的分割任务的区域损失所带来的问题。
weighted cross-entropy
在交叉熵的一个变体中，所有正例均按一定系数加权。它用于涉及类不平衡的方案。
lovász-softmax loss
该损失基于子模块损失的convex lovasz扩展，对神经网络中的intersection-over-union loss进行了直接优化。
其他值得一提的损失有:
topk loss：其目标是确保网络在训练过程中专注于困难样本。
distance penalized ce loss：它将网络引向难以分割的边界区域。
sensitivity-specificity (ss) loss：计算特异性和敏感性的均方差的加权和。
hausdorff distance(hd) loss：可从卷积神经网络估计hausdorff距离。
这些是在图像分割中使用的一些损失函数。
图像分割的数据集
common objects in context—coco dataset
coco是一个大型的对象检测、分割和字幕数据集。数据集包含91个类。它有25万人，都有自己的关键点。它的下载大小是37.57 gib。它包含80个对象类别。它在apache 2.0的许可下可用。
pascal visual object classes (pascal voc)
pascal有20个不同的类，9963张图片。训练/验证集是一个2gb的tar文件。
the cityscapes dataset
这个数据集包含城市场景的图像。该方法可用于评价视觉算法在城市场景中的性能。
the cambridge-driving labeled video database — camvid
这是一个基于动作的分割和识别数据集。它包含32个语义类。以下链接包含数据集的进一步说明和下载链接。
图像分割框架
如果准备好了数据集，那么来谈谈一些可用于入门的工具/框架。
fastai库：给定一个图像，该库能够为图像中的对象创建掩码。
sefexa图像分割工具：可用于半自动图像分割，图像分析和创建地面实况。
deepmask：facebook research的deepmask是deepmask和sharpmask的torch实现。
multipath：这是一个torch实现，从“用于目标检测的多路径网络”中提取目标检测网络。
opencv ：这是一个开放源代码的计算机视觉库，具有2500多种优化算法。
miscnn：医学图像分割开源库。它允许在几行代码中使用最新的卷积神经网络和深度学习模型建立管道。
fritz：提供了多种计算机视觉工具，包括用于移动设备的图像分割工具。
芯源微拟定增募资10亿元 投向高端半导体专用设备
5G基础配套设施高功耗问题的优化策略分析
weblogic修改jdk路径
iPhone升级了iOS10后，这3个功能不用就太可惜了
LTE手机射频信道衰落测试方案
一文读懂图像分割
全球硅晶圆出货量可望持续增加 成长动能或将延续到2021年
CD-R盘片
基于BH1417芯片的FM无线发射电路设计
VR产品有没有未来看了就知道
自动驾驶汽车面临的最大障碍或者是人类沟通行为
锌空电池
SATA接口与M2接口的固态硬盘区别解析
苹果新专利可以让Apple Watch转表冠就能充电
NEC 进军生物辨识，发展用脸付帐
iphone8什么时候上市?最新消息:iPhone8三围尺寸有变化,比iPhone7略大,iphone 8发布初期或一机难求
CMOS图像传感器需求热 出货量/销售额齐扬
厦门恒坤新材料与南京诚芯进行合作签约 将共同推进半导体光刻胶的研发和项目产业化
论道市场新应用，第十三届高交会电子展揭示电子产业革命
PCB上线前的烘烤要求
什么是图像分割?
顾名思义，这是将一个图像分割成多个片段的过程。在这个过程中，图像中的每个像素都与一个对象类型相关联。图像分割主要有两种类型:语义分割和实例分割。
在语义分割中，同一类型的所有对象都使用一个类标签进行标记，而在实例分割中，相似的对象使用各自独立的标签。
图像分割的体系结构
图像分割的基本结构包括编码器和解码器。
编码器通过过滤器从图像中提取特征。解码器负责生成最终的输出，通常是一个包含对象轮廓的分割掩码。大多数体系结构都有这种结构或其变体，看几个例子：
u-net
u-net是最初用于分割生物医学图像的卷积神经网络。可视化时，其架构看起来像字母u，因此名称为u-net。
它的体系结构由两部分组成，左边部分是收缩路径，右边部分是扩展路径。收缩路径的目的是捕获上下文，而扩展路径的作用是帮助精确定位。
u-net由右边的扩展路径和左边的收缩路径组成。收缩路径由两个3×3的卷积组成，卷积之后是一个整流的线性单元和一个用于降采样的两乘二最大池计算。
fastfcn —fast fully-connected network
在这种结构中，联合金字塔上采样(jpu)模块被用来代替扩展卷积，因为它们消耗大量的内存和时间。它的核心是一个全连接网络，同时使用jpu进行上采样。jpu将低分辨率特征图提升为高分辨率特征图。
gated-scnn
该架构由双流cnn架构组成。在此模型中，一个单独的分支用于处理图像形状信息。形状流用于处理边界信息。
deeplab
在这种结构中，卷积与上采样滤波器用于涉及密集预测的任务。多个对象的分割是通过空间金字塔池来完成的。
最后，用dcnns改进对象边界的定位。通过插入零点或对输入特征图进行稀疏采样来对滤波器进行上采样，从而实现空洞卷积。
可以在pytorch或tensorflow上尝试其实现。
mask r-cnn
在这种体系结构中，使用bounding box和语义分割对对象进行分类和定位，并将每个像素分类为一组类别。每个感兴趣的区域都有一个分割掩码，最终的输出是一个类标签和一个bounding box。
该体系结构是faster r-cnn的扩展，faster r-cnn由提出区域的深度卷积网络和利用区域的检测器组成。
这是在coco测试集上得到的结果的图像
图像分割损失函数
语义分割模型在训练过程中通常使用一个简单的交叉熵损失函数。但是，如果对获取图像的粒度信息感兴趣，则必须恢复到稍微高级一些的损失函数，来看几个例子：
focal loss
这种损失是对标准交叉熵准则的改进。这是通过改变其形状来实现的，使得分配给分类良好的示例的损失权重降低了。最终，确保不存在类不平衡。
在这个损失函数中，交叉熵损失是会随着缩放系数衰减为零而缩，训练时，比例因数自动降低了简单示例的权重，并将重点放在困难示例上。
dice loss
该损失是通过计算平滑dice coefficient函数获得的。这种损失是最常用的损失，是分割 问题。
intersection over union (iou)-balanced loss
iou平衡分类损失的目的是增加高iou样本的梯度，降低低iou样本的梯度。从而提高了机器学习模型的定位精度。
boundary loss
boundary loss的一种变体应用于具有高度不平衡分段的任务。
这种损失的形式是空间轮廓而非区域上的距离度量。通过这种方式，它解决了高度不平衡的分割任务的区域损失所带来的问题。
weighted cross-entropy
在交叉熵的一个变体中，所有正例均按一定系数加权。它用于涉及类不平衡的方案。
lovász-softmax loss
该损失基于子模块损失的convex lovasz扩展，对神经网络中的intersection-over-union loss进行了直接优化。
其他值得一提的损失有:
topk loss：其目标是确保网络在训练过程中专注于困难样本。
distance penalized ce loss：它将网络引向难以分割的边界区域。
sensitivity-specificity (ss) loss：计算特异性和敏感性的均方差的加权和。
hausdorff distance(hd) loss：可从卷积神经网络估计hausdorff距离。
这些是在图像分割中使用的一些损失函数。
图像分割的数据集
common objects in context—coco dataset
coco是一个大型的对象检测、分割和字幕数据集。数据集包含91个类。它有25万人，都有自己的关键点。它的下载大小是37.57 gib。它包含80个对象类别。它在apache 2.0的许可下可用。
pascal visual object classes (pascal voc)
pascal有20个不同的类，9963张图片。训练/验证集是一个2gb的tar文件。
the cityscapes dataset
这个数据集包含城市场景的图像。该方法可用于评价视觉算法在城市场景中的性能。
the cambridge-driving labeled video database — camvid
这是一个基于动作的分割和识别数据集。它包含32个语义类。以下链接包含数据集的进一步说明和下载链接。
图像分割框架
如果准备好了数据集，那么来谈谈一些可用于入门的工具/框架。
fastai库：给定一个图像，该库能够为图像中的对象创建掩码。
sefexa图像分割工具：可用于半自动图像分割，图像分析和创建地面实况。
deepmask：facebook research的deepmask是deepmask和sharpmask的torch实现。
multipath：这是一个torch实现，从“用于目标检测的多路径网络”中提取目标检测网络。
opencv ：这是一个开放源代码的计算机视觉库，具有2500多种优化算法。
miscnn：医学图像分割开源库。它允许在几行代码中使用最新的卷积神经网络和深度学习模型建立管道。
fritz：提供了多种计算机视觉工具，包括用于移动设备的图像分割工具。
芯源微拟定增募资10亿元 投向高端半导体专用设备
5G基础配套设施高功耗问题的优化策略分析
weblogic修改jdk路径
iPhone升级了iOS10后，这3个功能不用就太可惜了
LTE手机射频信道衰落测试方案
一文读懂图像分割
全球硅晶圆出货量可望持续增加 成长动能或将延续到2021年
CD-R盘片
基于BH1417芯片的FM无线发射电路设计
VR产品有没有未来看了就知道
自动驾驶汽车面临的最大障碍或者是人类沟通行为
锌空电池
SATA接口与M2接口的固态硬盘区别解析
苹果新专利可以让Apple Watch转表冠就能充电
NEC 进军生物辨识，发展用脸付帐
iphone8什么时候上市?最新消息:iPhone8三围尺寸有变化,比iPhone7略大,iphone 8发布初期或一机难求
CMOS图像传感器需求热 出货量/销售额齐扬
厦门恒坤新材料与南京诚芯进行合作签约 将共同推进半导体光刻胶的研发和项目产业化
论道市场新应用，第十三届高交会电子展揭示电子产业革命
PCB上线前的烘烤要求