视觉定位中常用地图形式汇总
作者：一杯红茶
首先，视觉定位指估计拍摄一幅图像时相机的位姿，这可以是六自由度、三自由度或者两自由度的位姿，要想获得准确的位姿估计结果，一般都需要一个地图先验，发展研究至今，出现了许许多多的地图形式，这包括传统的点云地图（稀疏/稠密）、压缩后的点云地图、mesh地图、cad地图、线地图、神经网络隐式表征的地图、平面图、无地图等等各种形式地图，所以最近一直在思考什么样的地图形式对于视觉定位来说才是最好的最优的呢？
地图分类：
我自己根据我所读到的视觉定位相关的文章，对所用到的各种地图形式整理在如下表格中，可能有所不全，欢迎补充。
对各种地图形式的分析：
点云地图：
首先是点云地图，这是目前视觉定位中最常见的一种地图形式，一般由sfm或者slam生成构造。
优点是：发展起步很早，各种相关算法都比较成熟，比如点的特征提取、匹配、对极几何、三角化、ba、pnp等等；所以以此为基础的视觉定位算法精度、鲁棒性都很高。
缺点是：由于点云地图中三维点数量庞大，其实相对于视觉定位任务来说是冗余的，所以其地图的存储消耗比较大，计算效率往往不高，这限制了在移动端的应用部署。
相关算法参考文献如下：
(1)sattler t, leibe b, kobbelt l. efficient & effective prioritized matching for large-scale image-based localization[j]. ieee transactions on pattern analysis and machine intelligence, 2016, 39(9): 1744-1756.(2)svärm l, enqvist o, kahl f, et al. city-scale localization for cameras with known vertical direction[j]. ieee transactions on pattern analysis and machine intelligence, 2016, 39(7): 1455-1461.(3)dusmanu m, miksik o, schönberger j l, et al. cross-descriptor visual localization and mapping[c]//proceedings of the ieee/cvf international conference on computer vision. 2021: 6058-6067.(4)liu l, li h, dai y. efficient global 2d-3d matching for camera localization in a large-scale 3d map[c]//proceedings of the ieee international conference on computer vision. 2017: 2372-2381.(5)sattler t, leibe b, kobbelt l. improving image-based localization by active correspondence search[c]//computer vision–eccv 2012: 12th european conference on computer vision, florence, italy, october 7-13, 2012, proceedings, part i 12. springer berlin heidelberg, 2012: 752-765.(6)taira h, okutomi m, sattler t, et al. inloc: indoor visual localization with dense matching and view synthesis[c]//proceedings of the ieee conference on computer vision and pattern recognition. 2018: 7199-7209.(7)camposeco f, sattler t, cohen a, et al. toroidal constraints for two-point localization under high outlier ratios[c]//proceedings of the ieee conference on computer vision and pattern recognition. 2017: 4545-4553.(8)geppert m, larsson v, speciale p, et al. privacy preserving localization and mapping from uncalibrated cameras[c]//proceedings of the ieee/cvf conference on computer vision and pattern recognition. 2021: 1809-1819.(9)yu h, feng y, ye w, et al. improving feature-based visual localization by geometry-aided matching[j]. arxiv preprint arxiv:2211.08712, 2022. 压缩后的点云地图：
由于点云地图存在的限制，基于压缩后的点云地图进行定位的算法被广泛研究，这类地图的最终目标就是为定位服务，即在最大限度压缩点云的同时精度不至于损失太多。
优点是：确实可以很大程度降低地图的内存大小
缺点是：定位精度往往与压缩量成负相关，很自然，越大的压缩量意味着越低的定位精度。从根本上说并没有摆脱点云地图的缺陷。
相关算法参考文献如下：
(1)mera-trujillo m, smith b, fragoso v. efficient scene compression for visual-based localization[c]//2020 international conference on 3d vision (3dv). ieee, 2020: 1-10.(2)camposeco f, cohen a, pollefeys m, et al. hybrid scene compression for visual localization[c]//proceedings of the ieee/cvf conference on computer vision and pattern recognition. 2019: 7653-7662.(3)yang l, shrestha r, li w, et al. scenesqueezer: learning to compress scene for camera relocalization[c]//proceedings of the ieee/cvf conference on computer vision and pattern recognition. 2022: 8259-8268. 线地图：
通过提取图像中的线段构建3d线地图来执行后续的定位，主要针对点云地图存在的限制提出。线段在某些方面相比于点有诸多好处，比如在光照、环境变换下线段仍可以稳定检测到，其次线段固有的方向及其空间结构信息对定位来说如果利用得当会很有帮助，此外，线地图中3d线段相比于点云地图来说会更少，所占用的内存空间更低。
优点是：轻量紧凑，富含空间中场景结构化信息。
缺点是：只能在人造环境，即建筑物线条丰富的地方执行，目前来看，其精度相比点云地图有待提高。
相关算法参考文献如下：
micusik b, wildenauer h. descriptor free visual indoor localization with line segments[c]//proceedings of the ieee conference on computer vision and pattern recognition. 2015: 3165-3173.yoon s, kim a. line as a visual sentence: context-aware line descriptor for visual localization[j]. ieee robotics and automation letters, 2021, 6(4): 8726-8733. 平面图：
场景的平面图在我们日常生活中其实是很常见的，比如我们在逛商场时或者浏览某个景点时，在入口处都可以看到关于这个场景的二维的平面图。
优点是：地图足够抽象，所以往往很轻很小，而且容易获得。
缺点是：由于信息不够丰富，定位精度往往不高。
相关算法参考文献如下：lalaloc: latent layout localisation in dynamic, unvisited environments（iccv 2021）
神经网络隐式表征的地图：
此类指代基于深度学习的视觉定位算法，比如通过网络直接回归查询图像的相机姿态信息或者通过网络密集预测查询图像像素的3d坐标，然后放在ransac-pnp loop中估计相机姿态。
优点是：通过网络隐式表征场景三维结构，省去了显式构建场景地图的开销。
缺点是：需要较高的硬件资源和大量的数据去训练网络，网络泛化问题，精度相比于点云地图还有差距。
相关算法参考文献如下：
kendall a, grimes m, cipolla r. posenet: a convolutional network for real-time 6-dof camera relocalization[c]//proceedings of the ieee international conference on computer vision. 2015: 2938-2946.brachmann e, rother c. expert sample consensus applied to camera re-localization[c]//proceedings of the ieee/cvf international conference on computer vision. 2019: 7525-7534.brachmann e, krull a, nowozin s, et al. dsac-differentiable ransac for camera localization[c]//proceedings of the ieee conference on computer vision and pattern recognition. 2017: 6684-6692.huang z, zhou h, li y, et al. vs-net: voting with segmentation for visual localization[c]//proceedings of the ieee/cvf conference on computer vision and pattern recognition. 2021: 6101-6111.von stumberg l, wenzel p, yang n, et al. lm-reloc: levenberg-marquardt based direct visual relocalization[c]//2020 international conference on 3d vision (3dv). ieee, 2020: 968-977. 高精地图：
这类地图多用在汽车上，多在自动驾驶场景中见到。
优点是：因为偏向于商业应用，定位精度一般很高。
缺点是：制作地图的成本很高，一般多由大公司搞了。
相关算法参考文献如下：
qin t, chen t, chen y, et al. avp-slam: semantic visual mapping and localization for autonomous vehicles in the parking lot[c]//2020 ieee/rsj international conference on intelligent robots and systems (iros). ieee, 2020: 5939-5945.jeong j, cho y, kim a. hdmi-loc: exploiting high definition map image for precise localization via bitwise particle filter[j]. ieee robotics and automation letters, 2020, 5(4): 6310-6317.guo x, hu j, chen j, et al. semantic histogram based graph matching for real-time multi-robot global localization in large scale environment[j]. ieee robotics and automation letters, 2021, 6(4): 8349-8356.zhang c, liu h, xie z, et al. avp-loc: surround view localization and relocalization based on hd vector map for automated valet parking[c]//2021 ieee/rsj international conference on intelligent robots and systems (iros). ieee, 2021: 5552-5559. 2d导航地图：
这种地图就是我们平时导航用的地图，比如百度地图、高德地图这些。
优点是：因为其地图也足够抽象，其地图内存占用也很小，而且这种地图形式更符合我们直观上的理解。
缺点是：估计的自由度不高，一般为两自由度。精度也有待提升。
相关算法参考文献如下：
sarlin p e, detone d, yang t y, et al. orienternet: visual localization in 2d public maps with neural matching[c]//proceedings of the ieee/cvf conference on computer vision and pattern recognition. 2023: 21632-21642.
总结
根据以上的分类，用于视觉定位的地图形式多种多样，到底哪一种最优，或者还有其他新颖的地图形式可以被使用？
我个人认为：用于视觉定位的地图不用像点云地图那样冗余，即当地图足够抽象，而且对时间变化、环境变换又具有鲁棒性，同时地图中保留了足够的几何和语义信息可以与场景产生高质量的对应关系时，这种地图对于视觉定位来说是最有用的。而且目前视觉定位很多是应用在移动机器人、汽车、消费电子产品上，这类应用更多注重算法的效率、地图的轻量、鲁棒性、实用性、泛化性这些。
而且，从目前顶会顶刊视觉定位相关的研究论文来看，大方向也是朝着这方面发展，即研究基于新颖地图的视觉定位算法以适应各种生产生活需要。
美国三大股指周一收高 费城半导体指数上涨1.56%
浅谈基于无线通信技术的老旧小区电气火灾监控系统方案设计及产品选型
蜂巢能源与南京溧水开发区签订协议建设动力电池生产基地
卧式拉力试验机的操作步骤及注意事项
垂起固定翼无人机逐渐崛起，测绘领域迎来新希望
视觉定位中常用地图形式汇总
微软二代产品SurfaceGo2配置和跑分数据疑似曝光
苹果秋季发布会2020有什么值得你期待 苹果秋季发布会9月16日举办
英特尔携手东软集团、一汽红旗驱动智能驾驶打造万物智能互联的未来
车载 DCDC 电源模块
华为发布新专利，能用眼球操控屏幕的开关
语音芯片型号有哪些？为什么NVD系列更受“欢迎”？
中国在全球AI学术研究领域有多大的影响力？
索尼靓咔KW1相机评测 一种品位和格调的体现
浅谈SPI驱动API的使用方法
水处理工艺知识
影响无线监控系统视频稳定的因素分析
IIC-China 2010参展商展前专访：苏州雷度电子
土壤水分传感器电源要求不受土壤质地影响？
对于无人驾驶行业有哪些新看法？驭势科技未来的方向如何？
首先，视觉定位指估计拍摄一幅图像时相机的位姿，这可以是六自由度、三自由度或者两自由度的位姿，要想获得准确的位姿估计结果，一般都需要一个地图先验，发展研究至今，出现了许许多多的地图形式，这包括传统的点云地图（稀疏/稠密）、压缩后的点云地图、mesh地图、cad地图、线地图、神经网络隐式表征的地图、平面图、无地图等等各种形式地图，所以最近一直在思考什么样的地图形式对于视觉定位来说才是最好的最优的呢？
地图分类：
我自己根据我所读到的视觉定位相关的文章，对所用到的各种地图形式整理在如下表格中，可能有所不全，欢迎补充。
对各种地图形式的分析：
点云地图：
首先是点云地图，这是目前视觉定位中最常见的一种地图形式，一般由sfm或者slam生成构造。
优点是：发展起步很早，各种相关算法都比较成熟，比如点的特征提取、匹配、对极几何、三角化、ba、pnp等等；所以以此为基础的视觉定位算法精度、鲁棒性都很高。
缺点是：由于点云地图中三维点数量庞大，其实相对于视觉定位任务来说是冗余的，所以其地图的存储消耗比较大，计算效率往往不高，这限制了在移动端的应用部署。
相关算法参考文献如下：
(1)sattler t, leibe b, kobbelt l. efficient & effective prioritized matching for large-scale image-based localization[j]. ieee transactions on pattern analysis and machine intelligence, 2016, 39(9): 1744-1756.(2)svärm l, enqvist o, kahl f, et al. city-scale localization for cameras with known vertical direction[j]. ieee transactions on pattern analysis and machine intelligence, 2016, 39(7): 1455-1461.(3)dusmanu m, miksik o, schönberger j l, et al. cross-descriptor visual localization and mapping[c]//proceedings of the ieee/cvf international conference on computer vision. 2021: 6058-6067.(4)liu l, li h, dai y. efficient global 2d-3d matching for camera localization in a large-scale 3d map[c]//proceedings of the ieee international conference on computer vision. 2017: 2372-2381.(5)sattler t, leibe b, kobbelt l. improving image-based localization by active correspondence search[c]//computer vision–eccv 2012: 12th european conference on computer vision, florence, italy, october 7-13, 2012, proceedings, part i 12. springer berlin heidelberg, 2012: 752-765.(6)taira h, okutomi m, sattler t, et al. inloc: indoor visual localization with dense matching and view synthesis[c]//proceedings of the ieee conference on computer vision and pattern recognition. 2018: 7199-7209.(7)camposeco f, sattler t, cohen a, et al. toroidal constraints for two-point localization under high outlier ratios[c]//proceedings of the ieee conference on computer vision and pattern recognition. 2017: 4545-4553.(8)geppert m, larsson v, speciale p, et al. privacy preserving localization and mapping from uncalibrated cameras[c]//proceedings of the ieee/cvf conference on computer vision and pattern recognition. 2021: 1809-1819.(9)yu h, feng y, ye w, et al. improving feature-based visual localization by geometry-aided matching[j]. arxiv preprint arxiv:2211.08712, 2022. 压缩后的点云地图：
由于点云地图存在的限制，基于压缩后的点云地图进行定位的算法被广泛研究，这类地图的最终目标就是为定位服务，即在最大限度压缩点云的同时精度不至于损失太多。
优点是：确实可以很大程度降低地图的内存大小
缺点是：定位精度往往与压缩量成负相关，很自然，越大的压缩量意味着越低的定位精度。从根本上说并没有摆脱点云地图的缺陷。
相关算法参考文献如下：
(1)mera-trujillo m, smith b, fragoso v. efficient scene compression for visual-based localization[c]//2020 international conference on 3d vision (3dv). ieee, 2020: 1-10.(2)camposeco f, cohen a, pollefeys m, et al. hybrid scene compression for visual localization[c]//proceedings of the ieee/cvf conference on computer vision and pattern recognition. 2019: 7653-7662.(3)yang l, shrestha r, li w, et al. scenesqueezer: learning to compress scene for camera relocalization[c]//proceedings of the ieee/cvf conference on computer vision and pattern recognition. 2022: 8259-8268. 线地图：
通过提取图像中的线段构建3d线地图来执行后续的定位，主要针对点云地图存在的限制提出。线段在某些方面相比于点有诸多好处，比如在光照、环境变换下线段仍可以稳定检测到，其次线段固有的方向及其空间结构信息对定位来说如果利用得当会很有帮助，此外，线地图中3d线段相比于点云地图来说会更少，所占用的内存空间更低。
优点是：轻量紧凑，富含空间中场景结构化信息。
缺点是：只能在人造环境，即建筑物线条丰富的地方执行，目前来看，其精度相比点云地图有待提高。
相关算法参考文献如下：
micusik b, wildenauer h. descriptor free visual indoor localization with line segments[c]//proceedings of the ieee conference on computer vision and pattern recognition. 2015: 3165-3173.yoon s, kim a. line as a visual sentence: context-aware line descriptor for visual localization[j]. ieee robotics and automation letters, 2021, 6(4): 8726-8733. 平面图：
场景的平面图在我们日常生活中其实是很常见的，比如我们在逛商场时或者浏览某个景点时，在入口处都可以看到关于这个场景的二维的平面图。
优点是：地图足够抽象，所以往往很轻很小，而且容易获得。
缺点是：由于信息不够丰富，定位精度往往不高。
相关算法参考文献如下：lalaloc: latent layout localisation in dynamic, unvisited environments（iccv 2021）
神经网络隐式表征的地图：
此类指代基于深度学习的视觉定位算法，比如通过网络直接回归查询图像的相机姿态信息或者通过网络密集预测查询图像像素的3d坐标，然后放在ransac-pnp loop中估计相机姿态。
优点是：通过网络隐式表征场景三维结构，省去了显式构建场景地图的开销。
缺点是：需要较高的硬件资源和大量的数据去训练网络，网络泛化问题，精度相比于点云地图还有差距。
相关算法参考文献如下：
kendall a, grimes m, cipolla r. posenet: a convolutional network for real-time 6-dof camera relocalization[c]//proceedings of the ieee international conference on computer vision. 2015: 2938-2946.brachmann e, rother c. expert sample consensus applied to camera re-localization[c]//proceedings of the ieee/cvf international conference on computer vision. 2019: 7525-7534.brachmann e, krull a, nowozin s, et al. dsac-differentiable ransac for camera localization[c]//proceedings of the ieee conference on computer vision and pattern recognition. 2017: 6684-6692.huang z, zhou h, li y, et al. vs-net: voting with segmentation for visual localization[c]//proceedings of the ieee/cvf conference on computer vision and pattern recognition. 2021: 6101-6111.von stumberg l, wenzel p, yang n, et al. lm-reloc: levenberg-marquardt based direct visual relocalization[c]//2020 international conference on 3d vision (3dv). ieee, 2020: 968-977. 高精地图：
这类地图多用在汽车上，多在自动驾驶场景中见到。
优点是：因为偏向于商业应用，定位精度一般很高。
缺点是：制作地图的成本很高，一般多由大公司搞了。
相关算法参考文献如下：
qin t, chen t, chen y, et al. avp-slam: semantic visual mapping and localization for autonomous vehicles in the parking lot[c]//2020 ieee/rsj international conference on intelligent robots and systems (iros). ieee, 2020: 5939-5945.jeong j, cho y, kim a. hdmi-loc: exploiting high definition map image for precise localization via bitwise particle filter[j]. ieee robotics and automation letters, 2020, 5(4): 6310-6317.guo x, hu j, chen j, et al. semantic histogram based graph matching for real-time multi-robot global localization in large scale environment[j]. ieee robotics and automation letters, 2021, 6(4): 8349-8356.zhang c, liu h, xie z, et al. avp-loc: surround view localization and relocalization based on hd vector map for automated valet parking[c]//2021 ieee/rsj international conference on intelligent robots and systems (iros). ieee, 2021: 5552-5559. 2d导航地图：
这种地图就是我们平时导航用的地图，比如百度地图、高德地图这些。
优点是：因为其地图也足够抽象，其地图内存占用也很小，而且这种地图形式更符合我们直观上的理解。
缺点是：估计的自由度不高，一般为两自由度。精度也有待提升。
相关算法参考文献如下：
sarlin p e, detone d, yang t y, et al. orienternet: visual localization in 2d public maps with neural matching[c]//proceedings of the ieee/cvf conference on computer vision and pattern recognition. 2023: 21632-21642.
总结
根据以上的分类，用于视觉定位的地图形式多种多样，到底哪一种最优，或者还有其他新颖的地图形式可以被使用？
我个人认为：用于视觉定位的地图不用像点云地图那样冗余，即当地图足够抽象，而且对时间变化、环境变换又具有鲁棒性，同时地图中保留了足够的几何和语义信息可以与场景产生高质量的对应关系时，这种地图对于视觉定位来说是最有用的。而且目前视觉定位很多是应用在移动机器人、汽车、消费电子产品上，这类应用更多注重算法的效率、地图的轻量、鲁棒性、实用性、泛化性这些。
而且，从目前顶会顶刊视觉定位相关的研究论文来看，大方向也是朝着这方面发展，即研究基于新颖地图的视觉定位算法以适应各种生产生活需要。
美国三大股指周一收高 费城半导体指数上涨1.56%
浅谈基于无线通信技术的老旧小区电气火灾监控系统方案设计及产品选型
蜂巢能源与南京溧水开发区签订协议建设动力电池生产基地
卧式拉力试验机的操作步骤及注意事项
垂起固定翼无人机逐渐崛起，测绘领域迎来新希望
视觉定位中常用地图形式汇总
微软二代产品SurfaceGo2配置和跑分数据疑似曝光
苹果秋季发布会2020有什么值得你期待 苹果秋季发布会9月16日举办
英特尔携手东软集团、一汽红旗驱动智能驾驶打造万物智能互联的未来
车载 DCDC 电源模块
华为发布新专利，能用眼球操控屏幕的开关
语音芯片型号有哪些？为什么NVD系列更受“欢迎”？
中国在全球AI学术研究领域有多大的影响力？
索尼靓咔KW1相机评测 一种品位和格调的体现
浅谈SPI驱动API的使用方法
水处理工艺知识
影响无线监控系统视频稳定的因素分析
IIC-China 2010参展商展前专访：苏州雷度电子
土壤水分传感器电源要求不受土壤质地影响？
对于无人驾驶行业有哪些新看法？驭势科技未来的方向如何？