基于LiDAR的行人重识别的研究分析
作者：戴沐白
行人重识别是指在大规模场景中对未经脚本的行人进行身份识别，每个身份的样本数量往往很少，这通常需要多个采集设备。我们的研究利用低成本的lidar解决行人重识别的挑战。我们构建了lreid数据集，这是第一个基于lidar的行人重识别数据集，用于促进利用lidar点云进行行人重识别的研究。
2、研究内容
基于激光雷达（lidar）的行人重识别。我们利用低成本的lidar设备解决了人员再识别中的挑战，构建了名为lreid的lidar数据集，并提出了一种名为reid3d的lidar-based reid框架。
3、创新
主要体现在以下几个方面：
首次提出了基于lidar的人员再识别（reid）方法
构建了第一个lidar-based reid数据集（lreid）
提出了lidar-based reid框架（reid3d）
4、方法
提出了一种基于lidar的行人重识别方法，称为reid3d。该方法利用预训练来引导图形增强编码器（gcee）提取全面的3d内在特征。
图1
reid3d采用多任务预训练来引导编码器学习基于lreid-sync的3d人体特征，如上图1所示。reid3d的reid网络由基于图的互补增强编码器（gcee）、互补特征提取器（cfe）和时间模块组成，如下图2所示。预训练的gcee用于初始化reid网络。
图2
基于我们的观察，可能影响reid模型性能的关键因素是（1）在跨视图设置下，不同视角导致的信息变化，以及（2）来自单视图的不完整信息。此外，真实数据的收集和注释涉及显著的成本，而模拟数据成本低廉，并且具有丰富和准确的注释。因此，我们利用模拟数据对编码器进行预训练，用于点云完成和smpl参数学习的任务。我们提出的预训练方法的整体思路如图1所示。
5、数学原理
在这篇文章中，有几个数学公式被用来描述算法和模型的工作原理。
第一个公式是关于点云完成任务的。它表示了通过编码器将输入的点云转换为潜在向量，然后通过解码器基于来预测完整的点云。公式如下：
第二个公式是关于学习人体特征的。它表示了通过将潜在向量输入到一个多层感知机（mlp）网络中，将转换为预测的形状参数。公式如下：
第三个公式是关于点云完成任务的损失函数。它使用chamfer距离（cd）作为预测点云和真实点云之间的差异度量。公式如下：
第四个公式是关于学习形状参数的损失函数。它使用均方误差（mse）作为预测形状参数和真实形状参数之间的差异度量。公式如下：
这些公式用于描述算法和模型的训练过程和损失函数，以及从点云中提取特征的方法。
6、实验方法与结果
本研究采用了两种实验方法：lreid和lreid-sync
lreid实验方法：
数据集划分：lreid数据集分为训练集和测试集，训练集包含220个身份，测试集包含剩余的100个身份。测试集中有30个身份在低光条件下采集，而70个身份在正常光照条件下采集。
查询和画廊集：在测试集中，选择每个身份的一个样本作为查询集，将其他样本作为画廊集。
评估指标：使用累积匹配特征（cmc）和平均精度（map）作为评估指标，与基于摄像头的数据集一致。
lreid-sync实验方法
数据集生成：使用unity3d软件生成lreid-sync数据集，模拟了多个视角的多个同步lidar捕捉到的场景中的行人。数据集包括了点云的完整视图和单个视图之间的补全注释，以及smpl参数。
数据集特点：lreid-sync包含了600个行人的点云数据，每个行人展示了不同的动作、独特的身体形状和步态，确保了数据集的多样性。
预训练：使用lreid-sync数据集进行预训练，引导编码器学习3d身体特征。
评估指标：与lreid相同，使用cmc和map作为评估指标。
7、还有那些改进？
算法改进：可以进一步改进lidar-based reid算法，提高人物识别的准确性和鲁棒性。
数据集扩充：可以进一步扩充lidar-based reid数据集，增加更多的场景、季节和光照条件的样本。
多模态融合：可以将lidar数据与其他传感器数据（如rgb图像、红外图像等）进行融合，以提高人物识别的准确性和鲁棒性。
实时性能优化：可以进一步优化lidar-based reid算法的实时性能，以适应实际应用场景中的实时需求。
跨数据集泛化：可以将lidar-based reid算法在其他数据集上进行验证和评估，以验证其在不同数据集和场景下的泛化能力。
8、结论
本研究是第一个关于基于lidar的行人重识别的研究，证明了在具有挑战性的真实世界室外场景中利用lidar进行人员再识别的可行性。
变频器中制动电阻是起什么作用呢？
AI将改变中国的医疗系统
负压传感器作用与使用说明
随之孕育而生出新生力量——云栖国际智能汽车科创园
IPXX到底是什么？手机防水等级定义你又了解多少？
基于LiDAR的行人重识别的研究分析
Cerner Corp正在标准化其公共云上的机器学习工作负载
家庭充电桩是购买电动汽车的最重要因素之一
嵌入式Linux 中的应用中的GTK+
这些鸡肋的智能硬件，你中了几个？
KUKA机器人固定焊钳的铣削控制
南方电网携手合作伙伴完成电力专用UPF建设并成功入网
功放保护电路故障修复
漫谈中国人工智能产业未来之路
T core一体成型电感制造：电感热压机
对NB-IoT的六大质疑，你怎么看？
空压机吸排气异常的识别及解决
Silicon Labs Wireless Gecko Series 2 SoC在贸泽开售，提供出色的节能性与安全性
可燃气体检测仪在使用中容易忽视的问题是什么？
关于蓝牙技术安全入门的探讨
行人重识别是指在大规模场景中对未经脚本的行人进行身份识别，每个身份的样本数量往往很少，这通常需要多个采集设备。我们的研究利用低成本的lidar解决行人重识别的挑战。我们构建了lreid数据集，这是第一个基于lidar的行人重识别数据集，用于促进利用lidar点云进行行人重识别的研究。
2、研究内容
基于激光雷达（lidar）的行人重识别。我们利用低成本的lidar设备解决了人员再识别中的挑战，构建了名为lreid的lidar数据集，并提出了一种名为reid3d的lidar-based reid框架。
3、创新
主要体现在以下几个方面：
首次提出了基于lidar的人员再识别（reid）方法
构建了第一个lidar-based reid数据集（lreid）
提出了lidar-based reid框架（reid3d）
4、方法
提出了一种基于lidar的行人重识别方法，称为reid3d。该方法利用预训练来引导图形增强编码器（gcee）提取全面的3d内在特征。
图1
reid3d采用多任务预训练来引导编码器学习基于lreid-sync的3d人体特征，如上图1所示。reid3d的reid网络由基于图的互补增强编码器（gcee）、互补特征提取器（cfe）和时间模块组成，如下图2所示。预训练的gcee用于初始化reid网络。
图2
基于我们的观察，可能影响reid模型性能的关键因素是（1）在跨视图设置下，不同视角导致的信息变化，以及（2）来自单视图的不完整信息。此外，真实数据的收集和注释涉及显著的成本，而模拟数据成本低廉，并且具有丰富和准确的注释。因此，我们利用模拟数据对编码器进行预训练，用于点云完成和smpl参数学习的任务。我们提出的预训练方法的整体思路如图1所示。
5、数学原理
在这篇文章中，有几个数学公式被用来描述算法和模型的工作原理。
第一个公式是关于点云完成任务的。它表示了通过编码器将输入的点云转换为潜在向量，然后通过解码器基于来预测完整的点云。公式如下：
第二个公式是关于学习人体特征的。它表示了通过将潜在向量输入到一个多层感知机（mlp）网络中，将转换为预测的形状参数。公式如下：
第三个公式是关于点云完成任务的损失函数。它使用chamfer距离（cd）作为预测点云和真实点云之间的差异度量。公式如下：
第四个公式是关于学习形状参数的损失函数。它使用均方误差（mse）作为预测形状参数和真实形状参数之间的差异度量。公式如下：
这些公式用于描述算法和模型的训练过程和损失函数，以及从点云中提取特征的方法。
6、实验方法与结果
本研究采用了两种实验方法：lreid和lreid-sync
lreid实验方法：
数据集划分：lreid数据集分为训练集和测试集，训练集包含220个身份，测试集包含剩余的100个身份。测试集中有30个身份在低光条件下采集，而70个身份在正常光照条件下采集。
查询和画廊集：在测试集中，选择每个身份的一个样本作为查询集，将其他样本作为画廊集。
评估指标：使用累积匹配特征（cmc）和平均精度（map）作为评估指标，与基于摄像头的数据集一致。
lreid-sync实验方法
数据集生成：使用unity3d软件生成lreid-sync数据集，模拟了多个视角的多个同步lidar捕捉到的场景中的行人。数据集包括了点云的完整视图和单个视图之间的补全注释，以及smpl参数。
数据集特点：lreid-sync包含了600个行人的点云数据，每个行人展示了不同的动作、独特的身体形状和步态，确保了数据集的多样性。
预训练：使用lreid-sync数据集进行预训练，引导编码器学习3d身体特征。
评估指标：与lreid相同，使用cmc和map作为评估指标。
7、还有那些改进？
算法改进：可以进一步改进lidar-based reid算法，提高人物识别的准确性和鲁棒性。
数据集扩充：可以进一步扩充lidar-based reid数据集，增加更多的场景、季节和光照条件的样本。
多模态融合：可以将lidar数据与其他传感器数据（如rgb图像、红外图像等）进行融合，以提高人物识别的准确性和鲁棒性。
实时性能优化：可以进一步优化lidar-based reid算法的实时性能，以适应实际应用场景中的实时需求。
跨数据集泛化：可以将lidar-based reid算法在其他数据集上进行验证和评估，以验证其在不同数据集和场景下的泛化能力。
8、结论
本研究是第一个关于基于lidar的行人重识别的研究，证明了在具有挑战性的真实世界室外场景中利用lidar进行人员再识别的可行性。
变频器中制动电阻是起什么作用呢？
AI将改变中国的医疗系统
负压传感器作用与使用说明
随之孕育而生出新生力量——云栖国际智能汽车科创园
IPXX到底是什么？手机防水等级定义你又了解多少？
基于LiDAR的行人重识别的研究分析
Cerner Corp正在标准化其公共云上的机器学习工作负载
家庭充电桩是购买电动汽车的最重要因素之一
嵌入式Linux 中的应用中的GTK+
这些鸡肋的智能硬件，你中了几个？
KUKA机器人固定焊钳的铣削控制
南方电网携手合作伙伴完成电力专用UPF建设并成功入网
功放保护电路故障修复
漫谈中国人工智能产业未来之路
T core一体成型电感制造：电感热压机
对NB-IoT的六大质疑，你怎么看？
空压机吸排气异常的识别及解决
Silicon Labs Wireless Gecko Series 2 SoC在贸泽开售，提供出色的节能性与安全性
可燃气体检测仪在使用中容易忽视的问题是什么？
关于蓝牙技术安全入门的探讨