一般情况下,遥感目标检测中,遥感图像的图片尺寸都会很大,且图像中元素极为复杂,近期开赛的亚马逊云科技【ai for good - 2022 遥感光学影像目标检测挑战赛】也不例外,动辄超过10000 x 10000的卫星遥感图像让许多选手感到头疼。同时遥感影像中目标尺寸差别大、小而密集、角度各异也导致常见的cv框架难以实现快速精准的目标识别。所以,如何实现遥感图像等超大尺寸图像快速识别?
目前比较成熟的卫星图像识别算法并不少,但大多依托于强大的计算资源,为了用有限的计算资源实现大尺寸图像识别,我们找到了一个可行的开源框架,给大尺寸图像识别提供了不错的思路。
yolt 是一个基于yolo v2的卫星图像识别开源算法,核心思路是:
1. 通过图片裁切和图像网络重构解决图像尺寸问题;
2. 通过“上采样”提升小而聚集的目标的检测精度;
3. 通过将不同尺寸模型融合,提升整体检测精度。
yolt项目地址:github - avanetten/yolt: you only look twice: rapid multi-scale object detection in satellite imagery
yolo是经典的图像识别算法,yolt在yolo的基础上针对卫星图像特有的问题提出了特定的解决思路。详细思路参见论文「you only look twice: rapid multi-scale object detection in satellite imagery」(github项目中附有论文链接)。
▲左侧为常见问题,右侧为解决办法
1. 针对物体尺寸不规则、方向多样的问题,yolt对卫星图像数据进行尺寸变换与旋转等数据增强的处理。
2. 针对目标尺寸过小并聚集的问题,yolt框架主要采用3种方式进行处理:
(1) 修改图像网络结构,将yolo v2框架中的stride由32改为16,有利于检测出大小在32 x 32以下的目标
(2) 对图像进行上采样,完成图片的“解压缩”操作,即把原先的图片放大,以便检测小而密集的物体
(3) 将不同尺寸的检测模型进行融合,即ensemble操作,由于不同目标的尺寸差异可能较大,如海港与船只、机场与飞机,ensemble操作能够提升大尺寸差异下的识别精度。
针对卫星图像尺寸过大的问题,yolt采用切块的方式,将原始图像切割成小块后输入模型进行训练,并结合2-(3)进行模型融合。
▲ yolt的网络结构,输出特征尺寸多为26 x 26,可以提升检测精度
应用实例
从下面的检测实例中,我们可以看到yolt是如何工作的:
首先,开发团队将一张卫星图片调整至416 x 416大小(如上左),发现无法检测出车辆目标;而从原图中切割出416 x 416的区域(称其为chips)则可以实现部分车辆目标的检测。
顺着这个思路,开发团队采用划窗方式将原始图像切割为许多chips,并使相邻chips之间有一定重合(如上图),以确保图像检测的完整性。再利用nms算法将重复检测过滤,最后将各块的检测结果进行融合,即可得出最后的结果。
▲ 检测实例:采用yolt v4识别机场中的飞机
yolt的思路不止可以应用于卫星图像识别,同样可以在目标尺寸小且密集的其他类图像识别问题中发挥作用。
对本次亚马逊【ai for good - 2022 遥感光学影像目标检测挑战赛】的选手而言,yolt的解决思路能够帮助大家越过图片尺寸过大的第一道坎。
原文标题:如何实现超大尺寸图像快速识别
文章出处:【微信公众号:opencv学堂】欢迎添加关注!文章转载请注明出处。
房车营地水电桩用电远程管理方案
三星Note8发布会前瞻:三星Note8真机图赏,后置指纹惹人厌!值不值6500元?
浅谈无线传感器网络的特点和挑战
“互联网+医学影像”AI助推实现医疗资源均衡化
ProscenicSummerP2S扫地机评测 相当实用值得大家考虑入手
如何实现遥感图像等超大尺寸图像快速识别
全国产V7+FT6678高性能实时信号处理平台
新一轮变革机遇来临,看服务机器人“雄霸天下”
β射线扬尘监测设备实时监测PM2.5
浅谈新风系统的优势以及传感器的应用
逆变器在新能源汽车产业中举足轻重的作用
荣耀9什么时候上市?荣耀9发布会倒计时:当荣耀9遇上高颜值的OPPPR11你会怎么选?
苹果新款AirPods Pro曝光:颜值大幅提升
无人机技术中美到底谁更科幻?
欧洲央行称数字货币并不会指导未来社会发展的方向
纳芯微(688052)成功登陆上交所科创板
智能电话机器人将成为电销从业者的标配利器
微雪电子树莓派3/3+计算模块扩展板介绍
开鸿智谷亮相华为开发者大会,带来交通行业实践新分享
10家支持直播加速的国外主流CDN厂商参数PK(2023版)