RGPNET：复杂环境下实时通用语义分割网络
本文介绍的论文提出了一种新的实时通用语义分割体系结构rgpnet，在复杂环境下取得了显著的性能提升。
作者： tom hardy
首发：3d视觉工坊微信公众号 论文：rgpnet: a real-time general purpose semantic segmentation （文末可下载）
论文链接：https://arxiv.org/abs/1912.01394
一、主要思想 本文提出了一种新的实时通用语义分割体系结构rgpnet，在复杂环境下取得了显著的性能提升。rgpnet由一个轻量级的非对称编码器-解码器和一个适配器组成。适配器有助于从编码器和解码器之间的多层分布式表示中保留和细化抽象概念。它也有助于从较深层到较浅层的梯度流动。大量实验表明，与目前最先进的语义分割网络相比，rgpnet具有更好的性能。
此外还证明了在保持性能的同时，使用改进的标签松弛技术和逐步调整大小可以减少60%的训练时间。论文还对应用在资源受限的嵌入式设备上的rgpnet进行了优化，使推理速度提高了400%，性能损失可以忽略不计。rgpnet在多个数据集之间获得了更好的速度和精度权衡。
二、创新点 1、提出的rgpnet作为一种通用的实时语义分割体系结构，它可以在单分支网络中获得高分辨率的深层特征，从而提高准确性和降低延迟，在复杂的环境中具有竞争力。
2、引入一个适配器模块来捕获多个抽象级别，以帮助细分的边界细化，适配器还通过添加较短的路径来辅助渐变梯度流。
3、对于green ai，在训练期间采用渐进式调整大小技术，从而使训练时间和环境影响减少60%，并且采用一种改进的标签松弛来消除低分辨率标签映射中的混叠效应。
4、使用tensorrt（一个高性能深度学习推理平台）优化rgpnet，以便部署在边缘计算设备上，从而使推理速度提高400%。
5、rgpnet在cityscpes、camvid和mapillary数据集上分别实现了resnet-101作为backbone 下80.9%、69.2%和50.2% miou以及resnet-18作为backbone下74.1%、66.9%和41.7% miou。对于1024×2048分辨率的图像，rgpnet在cityscapes数据集上单nvidia gtx2080ti gpu下达到37.4 fps。
三、网络结构 rgpnet的整体结构如下所示，每个箭头都有对应的操作模式：
中间一列操作为编码器 最右边操作为解码器 “+”操作为适配器（adaptor）
其中“+”详细操作如下所示：
1、t（：）是一个转换函数，它用来减少编码器模块输出通道数量并将其传输到adaptor。
2、d（：）和u（：）是下采样和上采样功能。
adaptor有许多优点：
1、adaptor聚合来自不同上下文和空间级别的特征。
2、通过引入较短的路径，有助于梯度从较深的层流向较浅的层。
3、adaptor允许使用轻量解码器的不对称设计，这将减少卷积层，进一步增强梯度流。因此，adaptor使网络适合于实时应用，因为它在保留空间信息的同时提供了丰富的语义信息。
针对带标签松弛的渐进式调整：
论文采取了最大化像素周围区域相似度分布，而不是单个像素级别的标签最大可能化，针对边界类别，提出了边界损失函数。
四、实验结果 多种网络在mapillary vistas数据集上的测试结果：
几种网络在mapillary vistas数据集上的性能对比：
在camvid数据集上的性能对比：
rgpnet使用tensorrt在gtx2080ti和xavier上速度对比：
综合速度和准确率以及实际部署下的性能，rgpnet都非常具有竞争力~!
推荐阅读
3d u-net：从稀疏注释中学习密集的体积分割 超全的3d视觉数据集汇总
重点介绍：1、3d视觉算法；2、vslam算法;3、图像处理；4、深度学习;5、自动驾驶;6、技术干货。博主及合伙人分别来国内自知名大厂、海康研究院，深研3d视觉、深度学习、图像处理、自动驾驶、目标检测、vslam算法等领域。
欢迎关注微信公众号
索尼NW-A55音乐播放器体验 续航非常持久
三种开关电器，不知有多少人分不清
名傲移动机器人用多款MiRGo解决方案，彰显MiR自主移动机器的开放性及灵活性
PACK企业夹缝求生 华霆动力却风生水起？
电动汽车什么牌子好？纯电动汽车排名，全电动加上垂直起降的新能源“飞行汽车”，你想要吗？
RGPNET：复杂环境下实时通用语义分割网络
炫目登场！行业龙头企业齐聚携超前科技引爆2023深圳商用显示技术展！
蛰伏“深耕”，健森的“加减法”
HP8970B HP8970B HP8970A HP8970
MPS全新高频率DC/DC 稳压器，提供更全面的保护
红米5Plus本月发布：又一部千元全面屏手机，小米这是要霸占全面屏手机市场么？
家用的按摩椅该如何选择，推荐这一款保准没错
Kiuwan：更好编码的3个步骤
并购高潮再起：甲骨文93亿收购云计算商NetSuite
超声波塑焊机的应用领域有哪些
UVC紫外线杀菌灯的详细介绍
iPhone8什么时候上市：iPhone8外观致敬初代iPhone，出货量大提升！果然是三级跳的10周年旗舰机
低温测试有什么作用，低温测试那些产品需要？
位移传感器用于测厚的优点
华为新机P10 Plus泄露，强悍配置：徕卡双摄 售价799美元
作者： tom hardy
首发：3d视觉工坊微信公众号 论文：rgpnet: a real-time general purpose semantic segmentation （文末可下载）
论文链接：https://arxiv.org/abs/1912.01394
一、主要思想 本文提出了一种新的实时通用语义分割体系结构rgpnet，在复杂环境下取得了显著的性能提升。rgpnet由一个轻量级的非对称编码器-解码器和一个适配器组成。适配器有助于从编码器和解码器之间的多层分布式表示中保留和细化抽象概念。它也有助于从较深层到较浅层的梯度流动。大量实验表明，与目前最先进的语义分割网络相比，rgpnet具有更好的性能。
此外还证明了在保持性能的同时，使用改进的标签松弛技术和逐步调整大小可以减少60%的训练时间。论文还对应用在资源受限的嵌入式设备上的rgpnet进行了优化，使推理速度提高了400%，性能损失可以忽略不计。rgpnet在多个数据集之间获得了更好的速度和精度权衡。
二、创新点 1、提出的rgpnet作为一种通用的实时语义分割体系结构，它可以在单分支网络中获得高分辨率的深层特征，从而提高准确性和降低延迟，在复杂的环境中具有竞争力。
2、引入一个适配器模块来捕获多个抽象级别，以帮助细分的边界细化，适配器还通过添加较短的路径来辅助渐变梯度流。
3、对于green ai，在训练期间采用渐进式调整大小技术，从而使训练时间和环境影响减少60%，并且采用一种改进的标签松弛来消除低分辨率标签映射中的混叠效应。
4、使用tensorrt（一个高性能深度学习推理平台）优化rgpnet，以便部署在边缘计算设备上，从而使推理速度提高400%。
5、rgpnet在cityscpes、camvid和mapillary数据集上分别实现了resnet-101作为backbone 下80.9%、69.2%和50.2% miou以及resnet-18作为backbone下74.1%、66.9%和41.7% miou。对于1024×2048分辨率的图像，rgpnet在cityscapes数据集上单nvidia gtx2080ti gpu下达到37.4 fps。
三、网络结构 rgpnet的整体结构如下所示，每个箭头都有对应的操作模式：
中间一列操作为编码器 最右边操作为解码器 “+”操作为适配器（adaptor）
其中“+”详细操作如下所示：
1、t（：）是一个转换函数，它用来减少编码器模块输出通道数量并将其传输到adaptor。
2、d（：）和u（：）是下采样和上采样功能。
adaptor有许多优点：
1、adaptor聚合来自不同上下文和空间级别的特征。
2、通过引入较短的路径，有助于梯度从较深的层流向较浅的层。
3、adaptor允许使用轻量解码器的不对称设计，这将减少卷积层，进一步增强梯度流。因此，adaptor使网络适合于实时应用，因为它在保留空间信息的同时提供了丰富的语义信息。
针对带标签松弛的渐进式调整：
论文采取了最大化像素周围区域相似度分布，而不是单个像素级别的标签最大可能化，针对边界类别，提出了边界损失函数。
四、实验结果 多种网络在mapillary vistas数据集上的测试结果：
几种网络在mapillary vistas数据集上的性能对比：
在camvid数据集上的性能对比：
rgpnet使用tensorrt在gtx2080ti和xavier上速度对比：
综合速度和准确率以及实际部署下的性能，rgpnet都非常具有竞争力~!
推荐阅读
3d u-net：从稀疏注释中学习密集的体积分割 超全的3d视觉数据集汇总
重点介绍：1、3d视觉算法；2、vslam算法;3、图像处理；4、深度学习;5、自动驾驶;6、技术干货。博主及合伙人分别来国内自知名大厂、海康研究院，深研3d视觉、深度学习、图像处理、自动驾驶、目标检测、vslam算法等领域。
欢迎关注微信公众号
索尼NW-A55音乐播放器体验 续航非常持久
三种开关电器，不知有多少人分不清
名傲移动机器人用多款MiRGo解决方案，彰显MiR自主移动机器的开放性及灵活性
PACK企业夹缝求生 华霆动力却风生水起？
电动汽车什么牌子好？纯电动汽车排名，全电动加上垂直起降的新能源“飞行汽车”，你想要吗？
RGPNET：复杂环境下实时通用语义分割网络
炫目登场！行业龙头企业齐聚携超前科技引爆2023深圳商用显示技术展！
蛰伏“深耕”，健森的“加减法”
HP8970B HP8970B HP8970A HP8970
MPS全新高频率DC/DC 稳压器，提供更全面的保护
红米5Plus本月发布：又一部千元全面屏手机，小米这是要霸占全面屏手机市场么？
家用的按摩椅该如何选择，推荐这一款保准没错
Kiuwan：更好编码的3个步骤
并购高潮再起：甲骨文93亿收购云计算商NetSuite
超声波塑焊机的应用领域有哪些
UVC紫外线杀菌灯的详细介绍
iPhone8什么时候上市：iPhone8外观致敬初代iPhone，出货量大提升！果然是三级跳的10周年旗舰机
低温测试有什么作用，低温测试那些产品需要？
位移传感器用于测厚的优点
华为新机P10 Plus泄露，强悍配置：徕卡双摄 售价799美元