介绍ICRA 2022中关于事件相机的几篇文章
本文介绍icra 2022中关于事件相机的几篇工作，由于是关键字查找，可能有遗漏，且能力有限文章难免出现疏漏，请读者批判性阅读并指出问题。
[1] asynchronous optimisation forevent-based visual odometry
本文面向纯事件(不需要frame)和无地图(map-free)，提出了在se(3)上的单目视觉里程计vo，核心思想是采用增量式最大后验(map)优化。
上图清晰指出了本文的主要贡献，在slam框架中，针对后端的优化，采用增量式sfm和高斯过程(gp)迭代，计算出地图和轨迹。本人认为，这个图做的非常好，值得学习借鉴，非常直观的告诉了读者本文的主要工作。
围绕后端的优化问题，文章在相关工作部分总结了优化时不同的batching策略，分成了frame-based(固定时间/数量)、event-driven(逐事件)和event-drivenand tracking(事件驱动和跟踪的)，见下图。
核心的算法涉及了较多数学知识，感兴趣请查阅原文。但文章指出方法的缺陷是计算量较大(由于涉及了迭代等操作)，在1min左右的数据上计算时间约10min。
[2] learning local event-baseddescriptor for patch-based stereo matching
本文的主要工作是提出了两种在双目配准中event的编码和配准方法。分别是“高效表示和网络(efficiency representation/net)”以及“精准表示与网络(accuracyrepresentation/net)”。
在表示上，高效表示采用了voxel-grid的方式进行切片，精准表示则将一段时间内的event生成6个channel的图片：两种极性的x-y,x-t,y-t图。在配准网络上，高效网络采用了全2d卷积的方式提高计算速度，精确网络则包含了squeeze-and-excitation层以提高特征的recalibration。
[3] kinematic structure estimation ofarbitrary articulated rigid objects for event cameras
本文解决的是rigid object的kinematic structure(ks)任务。对这个不太了解，我的理解是分析出刚体的结构并对其运动进行提取，如下图。
核心算法是叫做“增量式基于事件的运动估计”，基本原理由这两个作者在2020和21年两篇文章中提出[a1][a2]。由于不了解，本推送不做展开介绍。
[4] fusing event-based and rgb camerafor robust object detection in adverse conditions
提出了一种针对不同条件(主要是图像质量降低)的融合frame和event的目标检测算法。算法的核心是从rgb和event中提取特征，再经过fpn(featurepyramid net)网络进行融合，以实现不同尺度上的检测。
从上图可以看出，网络结构很简单，rgb图采用了resnet提取特征，event通过voxel-grid的方式成图后也提取特征，之后不同尺度的特征通过fpn进行检测。
值得提一句的是，本文所提出的图像质量降低是基于[a3]给出的图像15种降质，包括噪声、模糊、天气和数字化四类。但作者实验时，将dsec数据集的图片降质后使用，而并没有处理event对应的数据，因此我认为存在不合理之处。但作者做了event-only实验的对比，验证了融合低质图像的有效性。
另外，我最近看到了不少fpn网络在event融合中的使用，各位可以关注下。
[5] a linear comb filter for eventflicker removal
这篇文章很有趣，采用梳齿滤波器对事件的抖动进行去除，具体来说是消除了日光灯50hz频闪产生的噪声。作者是ziwei wang，熟悉的朋友应该知道她之前和cedric有不少合作，基本上都是围绕滤波的。
图：日光灯频闪前后的事件热度图(下)和重建图(上) 文章的核心算法是“梳齿滤波器”，这种滤波器形似梳子，抑制特定频率整数倍的信号，而对非特定频率的信号影响不大。
作者提出了前向后向反馈的梳齿滤波器，抑制50hz的周期信号。所设计的系统框图和伯德图见下。
文章很有趣，但我也指出两个问题供读者思考：1. 文章看起来需要保持相机和灯管相对静止，如果有运动怎么办，是否可以扩展？2. 从热度图上可以看出仍然没有去除全部的噪声，原因是什么，是否是由于事件的jitter或on/off的不一致造成的，是否可以优化？
[6] devo: depth-event camera visualodometry in challenging conditions
本文提出了一种事件相机+深度相机的vo算法，基本思想是使用rgbd提供了深度，更方便地帮助event相机建立地图与位姿估计。
关于这篇文章，今年2月在arxiv上看到了作者上传的预印本，并在之前的推送中做了详细介绍，本次推送不做展开。
[7] vista 2.0: an open, data-drivensimulator for multimodal sensing and policy learning for autonomous vehicles
这篇文章并不算严格意义上的事件相机研究，只是做了个面向policy-learning的仿真器，涉及了event的生成。推送简单介绍：文章提出了一种基于虚拟视角的方法，对现有的实际场景数据集进行合成，合成了不同视角下的image和lidar，并利用改进的esim方法生成了event数据。做无人驾驶相关的朋友如感兴趣可以进一步了解。
大家都在争相超过A100，无人对标的Grace Hopper性能几何？
自动驾驶聚焦双L4 道路信息化让自动驾驶更加安全
字节跳动也将入局机器人 机构预测明年行业规模超百亿美元
OPPO Reno2拥有超级视频防抖和视频变焦功能，影像功能全面升级
可穿戴智能手环的电磁兼容设计方案
介绍ICRA 2022中关于事件相机的几篇文章
应用智能灌溉的测量传感器系统
怎样制作Arduino控制的自动鸡舍门
用BB-Black和ZigBee无线传感设计的远程医疗智能硬件
用Python分析过 36年春晚节目数据，发现了一些趣事
【新专利介绍】一种可连接云控制平台的机械式水表
自己动手制作互动式LED炫光舞池
基于知识图谱的调用链分析精准化测试平台
新电池标准实施，低端产品何去何从
中心频率详细讲解
歌尔 VR 产品上榜国家级制造业单项冠军公示名单
SGM9119/SGM9124/SGM9125/SGM912
云南积极筹办国际人工智能与智慧生活应用博览会
压力继电器的主要性能和常见的规格型号
中国电信正式公布了2019年WLAN设备集中采购项目招标结果
[1] asynchronous optimisation forevent-based visual odometry
本文面向纯事件(不需要frame)和无地图(map-free)，提出了在se(3)上的单目视觉里程计vo，核心思想是采用增量式最大后验(map)优化。
上图清晰指出了本文的主要贡献，在slam框架中，针对后端的优化，采用增量式sfm和高斯过程(gp)迭代，计算出地图和轨迹。本人认为，这个图做的非常好，值得学习借鉴，非常直观的告诉了读者本文的主要工作。
围绕后端的优化问题，文章在相关工作部分总结了优化时不同的batching策略，分成了frame-based(固定时间/数量)、event-driven(逐事件)和event-drivenand tracking(事件驱动和跟踪的)，见下图。
核心的算法涉及了较多数学知识，感兴趣请查阅原文。但文章指出方法的缺陷是计算量较大(由于涉及了迭代等操作)，在1min左右的数据上计算时间约10min。
[2] learning local event-baseddescriptor for patch-based stereo matching
本文的主要工作是提出了两种在双目配准中event的编码和配准方法。分别是“高效表示和网络(efficiency representation/net)”以及“精准表示与网络(accuracyrepresentation/net)”。
在表示上，高效表示采用了voxel-grid的方式进行切片，精准表示则将一段时间内的event生成6个channel的图片：两种极性的x-y,x-t,y-t图。在配准网络上，高效网络采用了全2d卷积的方式提高计算速度，精确网络则包含了squeeze-and-excitation层以提高特征的recalibration。
[3] kinematic structure estimation ofarbitrary articulated rigid objects for event cameras
本文解决的是rigid object的kinematic structure(ks)任务。对这个不太了解，我的理解是分析出刚体的结构并对其运动进行提取，如下图。
核心算法是叫做“增量式基于事件的运动估计”，基本原理由这两个作者在2020和21年两篇文章中提出[a1][a2]。由于不了解，本推送不做展开介绍。
[4] fusing event-based and rgb camerafor robust object detection in adverse conditions
提出了一种针对不同条件(主要是图像质量降低)的融合frame和event的目标检测算法。算法的核心是从rgb和event中提取特征，再经过fpn(featurepyramid net)网络进行融合，以实现不同尺度上的检测。
从上图可以看出，网络结构很简单，rgb图采用了resnet提取特征，event通过voxel-grid的方式成图后也提取特征，之后不同尺度的特征通过fpn进行检测。
值得提一句的是，本文所提出的图像质量降低是基于[a3]给出的图像15种降质，包括噪声、模糊、天气和数字化四类。但作者实验时，将dsec数据集的图片降质后使用，而并没有处理event对应的数据，因此我认为存在不合理之处。但作者做了event-only实验的对比，验证了融合低质图像的有效性。
另外，我最近看到了不少fpn网络在event融合中的使用，各位可以关注下。
[5] a linear comb filter for eventflicker removal
这篇文章很有趣，采用梳齿滤波器对事件的抖动进行去除，具体来说是消除了日光灯50hz频闪产生的噪声。作者是ziwei wang，熟悉的朋友应该知道她之前和cedric有不少合作，基本上都是围绕滤波的。
图：日光灯频闪前后的事件热度图(下)和重建图(上) 文章的核心算法是“梳齿滤波器”，这种滤波器形似梳子，抑制特定频率整数倍的信号，而对非特定频率的信号影响不大。
作者提出了前向后向反馈的梳齿滤波器，抑制50hz的周期信号。所设计的系统框图和伯德图见下。
文章很有趣，但我也指出两个问题供读者思考：1. 文章看起来需要保持相机和灯管相对静止，如果有运动怎么办，是否可以扩展？2. 从热度图上可以看出仍然没有去除全部的噪声，原因是什么，是否是由于事件的jitter或on/off的不一致造成的，是否可以优化？
[6] devo: depth-event camera visualodometry in challenging conditions
本文提出了一种事件相机+深度相机的vo算法，基本思想是使用rgbd提供了深度，更方便地帮助event相机建立地图与位姿估计。
关于这篇文章，今年2月在arxiv上看到了作者上传的预印本，并在之前的推送中做了详细介绍，本次推送不做展开。
[7] vista 2.0: an open, data-drivensimulator for multimodal sensing and policy learning for autonomous vehicles
这篇文章并不算严格意义上的事件相机研究，只是做了个面向policy-learning的仿真器，涉及了event的生成。推送简单介绍：文章提出了一种基于虚拟视角的方法，对现有的实际场景数据集进行合成，合成了不同视角下的image和lidar，并利用改进的esim方法生成了event数据。做无人驾驶相关的朋友如感兴趣可以进一步了解。
大家都在争相超过A100，无人对标的Grace Hopper性能几何？
自动驾驶聚焦双L4 道路信息化让自动驾驶更加安全
字节跳动也将入局机器人 机构预测明年行业规模超百亿美元
OPPO Reno2拥有超级视频防抖和视频变焦功能，影像功能全面升级
可穿戴智能手环的电磁兼容设计方案
介绍ICRA 2022中关于事件相机的几篇文章
应用智能灌溉的测量传感器系统
怎样制作Arduino控制的自动鸡舍门
用BB-Black和ZigBee无线传感设计的远程医疗智能硬件
用Python分析过 36年春晚节目数据，发现了一些趣事
【新专利介绍】一种可连接云控制平台的机械式水表
自己动手制作互动式LED炫光舞池
基于知识图谱的调用链分析精准化测试平台
新电池标准实施，低端产品何去何从
中心频率详细讲解
歌尔 VR 产品上榜国家级制造业单项冠军公示名单
SGM9119/SGM9124/SGM9125/SGM912
云南积极筹办国际人工智能与智慧生活应用博览会
压力继电器的主要性能和常见的规格型号
中国电信正式公布了2019年WLAN设备集中采购项目招标结果