基于自动驾驶汽车记录的3D激光扫描的SLAM闭环问题讨论
简介
我们在之前的博客中讨论了一些激光回环检测的方法，但是基本都是围绕着点云特征去做的，并未涉足过深度学习的相关方法，之前作者在查找《经典文献阅读之—bow3d》资料时看到了一个比较感兴趣的工作《overlapnet: loop closing for lidar-based slam》，同时这个文章还拥有对应的开源源码github，非常适合复现以及学习。
工作重心
同时定位和映射（slam）是大多数自主系统所需的基本能力。在本文中，我们讨论了基于自动驾驶汽车记录的3d激光扫描的slam闭环问题。
我们的方法利用深度神经网络，利用从激光雷达数据生成的不同线索来寻找环路闭合。
它估计广义到距离图像的图像重叠，并提供扫描对之间的相对偏航角估计。
基于这些预测，我们处理环路闭合检测，并将我们的方法集成到现有的slam系统中，以改善其映射结果。
简单来说，作者通过深度学习完成点云转换为影像，然后做回环检测， 输出overlap和yaw的操作步骤，文中指出，本文的主要创新点有：
能够利用多个线索，不需提前知道两个雷达扫描的相对位姿，只利用范围、法向量、强度和语义等线索，使用深度神经网络直接估计两个激光雷达扫描的重叠率，以及相对偏航角。
结合里程计信息和重叠率预测实现闭环的检测、修正，可以检测到的闭环整合到现有slam系统中，可以提高整体位姿估计的结果，产生全局一致的地图。
无需先验位姿信息，解决在自动驾驶中3d lidar slam 的闭环检测问题，使用产生正确扫描匹配结果的overlapnet网络预测初始化icp
详细算法
2.1 overlap的概念
作者认为直接对比两个点云之间的距离不够精确，因为会受漂移的影响。
因此提出用重叠率来代替距离检测回环。具体思路是由影像的overlap中来，要成功匹配两个图像并计算它们的相对姿态，图像必须重叠。
这可以通过将重叠百分比定义为第一图像中的像素的百分比来量化，该像素可以在没有遮挡的情况下成功地投影回第二图像中。
请注意，该度量不是对称的：如果图像对存在较大的尺度差异。
例如，一幅图像显示一堵墙，另一幅显示该墙周围的许多建筑物，则第一到第二幅图像的重叠百分比可能较大，而第二到第一幅图像的交叠百分比较低。
在本文中，我们使用了距离图像重叠的思想，明确地利用了距离信息
对于环路闭合，重叠百分比的阈值可用于决定两个激光雷达扫描是否在同一位置和/或环路闭合。
对于环路闭合，这种测量可能比一对扫描记录位置之间的常用距离更好，因为位置可能会受到漂移的影响，因此不可靠。
重叠预测与相对姿势无关，因此可用于查找环路闭合，而无需知道扫描之间的正确相对姿势。
2.2 激光雷达扫描对之间重叠的定义
简单来说就是将两个点云转化为二维图并且坐标系对齐，如果两个坐标差小于阈值记为1，否则为零，求和再除以两个图中像素较小的那个，作者想用这个等式建立训练集。
对于旋转，作者选择旋转多个角度，用最大重叠值代表最终重叠值。
2.3 网络结构
下图描述了所提出的重叠网络的概述。我们利用了多个线索，这些线索可以从单个激光雷达扫描中生成，包括深度、法线、强度和语义类概率信息。
深度信息存储在由一个通道组成的范围图r中。我们使用顶点映射的邻域信息来生成法线映射n，它有三个通道编码法线坐标。
我们直接从传感器获得强度信息，也称为缓解，并使用强度信息为单通道强度图i。使用rangenet++计算逐点语义类概率，我们将其表示为语义图s。
rangenet++提供20个不同类的概率。为了提高效率，我们使用主成分分析将20维rangenet++输出缩减为压缩的三维向量。
信息被组合成一个大小为64×900×d64×900×d的输入张量，其中64900是输入的高度和宽度，$d$取决于使用的数据类型.
这里没有特别仔细去研究，具体就是由两个共享权重的legs和由legs生成的相同特征体积对的head组成。
进一步说这个模型的作用就是将深度图，向量图，强度图，还用rangenet++做了个语义图一起作为输入。
一个输出是角度特征向量，一个输出是两次扫描之间的重叠率。
同时使用基于surfel的映射系统suma作为的slam的 pipeline，并将overlapnet集成到suma中，以取代其原始的启发式环路闭合检测方法。
所以说最后就是suma+overlapnet的集合完成的。
OpenGVLab开源平台推动通用AI技术的规模化应用
电子管功放制作技巧和要领,Vacuum Tube Amplifier
超声清洗机的频率一般为多少？
物联网怎样在气象领域落地
专家呼吁新一代计算机架构，Google、微软并驾齐驱
基于自动驾驶汽车记录的3D激光扫描的SLAM闭环问题讨论
围绕低EMI构建的完整支持生态从而实现EMI和面积双重优化
功率探头的选型指南
赋能「360行」绿色用电，上能电气引领零碳工商业新风尚
海尔共享空调正式入驻西安交通大学助力西安交通大学5G智慧校园建设
MIPS宣布加入台积电IP联盟
新能源汽车充电桩低成本测试解决方案
消灭竞争对手！芯片并购大战持续发酵，Marvell将以60亿美元收购Cavium
微软取得存储技术新突破，最新玻璃硬盘问世
继华为后,紫光展锐发布5G基带芯片
MAX19506 双通道、8位、100Msps ADC
飞乐音响业绩竟爆乌龙 净利润预计同比减少80%
x-ray射线检测设备在质量控制中起到重要作用
IP网络广播系统有哪些优点
LoRa作为物联网时代的“WiFi”，你到底了解它多少呢？
我们在之前的博客中讨论了一些激光回环检测的方法，但是基本都是围绕着点云特征去做的，并未涉足过深度学习的相关方法，之前作者在查找《经典文献阅读之—bow3d》资料时看到了一个比较感兴趣的工作《overlapnet: loop closing for lidar-based slam》，同时这个文章还拥有对应的开源源码github，非常适合复现以及学习。
工作重心
同时定位和映射（slam）是大多数自主系统所需的基本能力。在本文中，我们讨论了基于自动驾驶汽车记录的3d激光扫描的slam闭环问题。
我们的方法利用深度神经网络，利用从激光雷达数据生成的不同线索来寻找环路闭合。
它估计广义到距离图像的图像重叠，并提供扫描对之间的相对偏航角估计。
基于这些预测，我们处理环路闭合检测，并将我们的方法集成到现有的slam系统中，以改善其映射结果。
简单来说，作者通过深度学习完成点云转换为影像，然后做回环检测， 输出overlap和yaw的操作步骤，文中指出，本文的主要创新点有：
能够利用多个线索，不需提前知道两个雷达扫描的相对位姿，只利用范围、法向量、强度和语义等线索，使用深度神经网络直接估计两个激光雷达扫描的重叠率，以及相对偏航角。
结合里程计信息和重叠率预测实现闭环的检测、修正，可以检测到的闭环整合到现有slam系统中，可以提高整体位姿估计的结果，产生全局一致的地图。
无需先验位姿信息，解决在自动驾驶中3d lidar slam 的闭环检测问题，使用产生正确扫描匹配结果的overlapnet网络预测初始化icp
详细算法
2.1 overlap的概念
作者认为直接对比两个点云之间的距离不够精确，因为会受漂移的影响。
因此提出用重叠率来代替距离检测回环。具体思路是由影像的overlap中来，要成功匹配两个图像并计算它们的相对姿态，图像必须重叠。
这可以通过将重叠百分比定义为第一图像中的像素的百分比来量化，该像素可以在没有遮挡的情况下成功地投影回第二图像中。
请注意，该度量不是对称的：如果图像对存在较大的尺度差异。
例如，一幅图像显示一堵墙，另一幅显示该墙周围的许多建筑物，则第一到第二幅图像的重叠百分比可能较大，而第二到第一幅图像的交叠百分比较低。
在本文中，我们使用了距离图像重叠的思想，明确地利用了距离信息
对于环路闭合，重叠百分比的阈值可用于决定两个激光雷达扫描是否在同一位置和/或环路闭合。
对于环路闭合，这种测量可能比一对扫描记录位置之间的常用距离更好，因为位置可能会受到漂移的影响，因此不可靠。
重叠预测与相对姿势无关，因此可用于查找环路闭合，而无需知道扫描之间的正确相对姿势。
2.2 激光雷达扫描对之间重叠的定义
简单来说就是将两个点云转化为二维图并且坐标系对齐，如果两个坐标差小于阈值记为1，否则为零，求和再除以两个图中像素较小的那个，作者想用这个等式建立训练集。
对于旋转，作者选择旋转多个角度，用最大重叠值代表最终重叠值。
2.3 网络结构
下图描述了所提出的重叠网络的概述。我们利用了多个线索，这些线索可以从单个激光雷达扫描中生成，包括深度、法线、强度和语义类概率信息。
深度信息存储在由一个通道组成的范围图r中。我们使用顶点映射的邻域信息来生成法线映射n，它有三个通道编码法线坐标。
我们直接从传感器获得强度信息，也称为缓解，并使用强度信息为单通道强度图i。使用rangenet++计算逐点语义类概率，我们将其表示为语义图s。
rangenet++提供20个不同类的概率。为了提高效率，我们使用主成分分析将20维rangenet++输出缩减为压缩的三维向量。
信息被组合成一个大小为64×900×d64×900×d的输入张量，其中64900是输入的高度和宽度，$d$取决于使用的数据类型.
这里没有特别仔细去研究，具体就是由两个共享权重的legs和由legs生成的相同特征体积对的head组成。
进一步说这个模型的作用就是将深度图，向量图，强度图，还用rangenet++做了个语义图一起作为输入。
一个输出是角度特征向量，一个输出是两次扫描之间的重叠率。
同时使用基于surfel的映射系统suma作为的slam的 pipeline，并将overlapnet集成到suma中，以取代其原始的启发式环路闭合检测方法。
所以说最后就是suma+overlapnet的集合完成的。
OpenGVLab开源平台推动通用AI技术的规模化应用
电子管功放制作技巧和要领,Vacuum Tube Amplifier
超声清洗机的频率一般为多少？
物联网怎样在气象领域落地
专家呼吁新一代计算机架构，Google、微软并驾齐驱
基于自动驾驶汽车记录的3D激光扫描的SLAM闭环问题讨论
围绕低EMI构建的完整支持生态从而实现EMI和面积双重优化
功率探头的选型指南
赋能「360行」绿色用电，上能电气引领零碳工商业新风尚
海尔共享空调正式入驻西安交通大学助力西安交通大学5G智慧校园建设
MIPS宣布加入台积电IP联盟
新能源汽车充电桩低成本测试解决方案
消灭竞争对手！芯片并购大战持续发酵，Marvell将以60亿美元收购Cavium
微软取得存储技术新突破，最新玻璃硬盘问世
继华为后,紫光展锐发布5G基带芯片
MAX19506 双通道、8位、100Msps ADC
飞乐音响业绩竟爆乌龙 净利润预计同比减少80%
x-ray射线检测设备在质量控制中起到重要作用
IP网络广播系统有哪些优点
LoRa作为物联网时代的“WiFi”，你到底了解它多少呢？