一种边缘引导的显著性目标检测网络EGNet

显著性检测的主要任务是检测出图像中具有最独特视觉特征的目标区域,它在视觉内容编辑、目标检测、渲染、分割等领域有着重要的应用。深度学习特别是全卷积神经网络的发展极大地促进了显著性检测的进步,但目前的方法对于目标边缘的处理还比较粗糙。 为了获取更为精确的显著性目标区域,来自南开大学的研究人员利用显著性边缘和显著性目标间的互补性提出了一种边缘引导的显著性目标检测网络egnet,大幅度改进了显著性检验的边缘效果和定位效果,并在多个数据集上取得了优异的结果。
egnet
对于显著性目标检测来说,先前的方法都没有重视显著性边缘检测与显著性目标检测间的互补性。一个优异的显著性边缘检测算法将有效地在定位和分割方面促进显著性目标检测算法,反之亦然。在这种思想的指导下,研究人员开始探索利用单个网络融合显著性边缘信息与显著性目标信息来实现更好的端到端显著性检测。
这一网络的主要任务在于对互补信息建模,并利用两种显著性信息来提升检测的性能。网络的框架如下图所示,包含了主干网络和用于互补信息融合显著性检测的多个模块。
研究人员首先使用vgg作为相对独立的主干网络对图像进行不同层级的信息抽取,并将这五路不同层级的旁支特征送入后续的融合与检测模块中。其中conv1-2感受野太小没有被采用,而conv2-2则主要包含边缘信息,用于后续的边缘显著性检测和显著性目标检测。
随后需要分别对图像中的显著性目标特征和边缘特征进行有效抽取和融合。研究人员采用了渐进式的属性目标特征抽取(psfem部分)和非局域的显著性边缘特征抽取(nlsem)。
研究人员使用了u-net架构来抽取多分辨率特征,以便获取更丰富的纹理信息。在原始u-net的基础上,在旁支上添加了三个卷积层以获取更为鲁棒的显著性信息。最终每一层级输出mask并与gt值进行比较以获取目标特征损失。
为了构建并抽取边缘特征,研究人员使用了vgg中的conv2-2输出特征来进行处理。然而局域信息不足以获取完整的显著性边缘特征,所有还需要结合顶部的语义信息。此外最顶层的层感受野最大定位也最为准确,于是研究人员设计了一种自定向下的定位信息传输机制,将conv6-3经过卷积后的特征与conv2-2进行结合,最后利用gt的显著性边缘来获取边缘损失。
在获取互补的显著性边缘及目标特征后,就可以利用边缘信息来引导显著性特征信息实现更好的检测。研究人员将不同层级目标特征的结果与边缘特征fe进行融合实现特征提升。随后得到不同层级特征下获取的掩膜结果,同时在每个结果上添加监督信号。最终将多尺度的掩膜融合起来得到最终的融合结果。
优异结果
由于需要对算法性能进行测试,研究人员首先在dust数据集上进行了训练,并在ecssd,pascal-s,dut-omron,sod,hkuis,duts,ecssd等六个数据集上进行了测评。测评的指标主要是描述平均精度和召回率的f值,描述预测结果准确性的mae和描述结构信息的s值。
在与15种现有算法的比较后表明,本文提出的方法在各个数据集上都能获得优秀的检测结果。在比较中分别使用了restnet和vgg作为主干网抽取特征,其中箭头的上或下表示结果相较于之前取得大幅或小幅进展:
在消融性分析中研究人员还发现边缘信息对于显著性预测十分有效,同时将顶层语义信息传到底层可以得到更为精确的定位信息。边缘信息的融合也有助于最终显著性检测结果。互补信息可以同时提高分割和定位的效果。下表有效说明了各个模块带来的性能提升。
显著性边缘检测的效果也因为互补信息的辅助而得到了提升:
与多种先进的显著性检测模型相比,egnet在各种指标和视觉效果上都有了明显的提升:

在GX works2中编辑顺序功能图
CAM350使用技巧问答全集
万马齐喑,“果链”无冬
对于加快工作进度,君芯IGBT栅极电阻Rg的选型
CSR与卓然公司合并 奠定无线互联等领域的全球领先厂商地位
一种边缘引导的显著性目标检测网络EGNet
DC-DC中同步整流和异步整流的区别
电容具体称呼与计算公式的详细讲解
无屏幕的Moment智能手表 所有信息都可以通过触摸实现
关于中国芯片水平的分析和介绍
基于python的漏洞扫描器
村田依托创新技术 直指可穿戴市场
PCBA无焊压入式连接技术的关键因素于材料选择
我国运营商的5G承载网络规模组网方案还面临着挑战
小米有品上架一款IDMIX多功能旅行充 电源适配器/移动电源/无线充三合一
VR技术为越来越多的行业应用开拓了新市场
玉米赤霉烯酮分析仪的功能及参数
珠海方正PCB F7新工厂正密锣紧鼓地建设中,场面热火朝天
全球首款采用MEMS扬声器的助听器于2023年1月1日发售
全频段的电磁频谱中英文对照