港中文等发布MagicDrive：日夜、雨晴、多视角全覆盖，人、物位置随意变更
【导读】magicdrive可以细粒度生成高保真、多相机街景，可以随意变换天气、光照条件以及人物位置，海量自动驾驶数据触手可及！
在深度学习算法的应用中，高质量的数据是技术创新的关键驱动力，尤其在自动驾驶领域，获取和标注3d感知数据的成本不菲，对于许多研究者和开发者来说都是一个重大挑战。
为此，来自香港中文大学、香港科技大学和华为诺亚方舟实验室的研究人员联合提出了基于 diffusion的3d自动驾驶数据生成方法magicdrive。
通过多种3d几何条件的细粒度控制，magicdrive在生成高保真多相机街景图像的同时，还能够支持多种下游感知任务的训练。
论文地址：https://arxiv.org/abs/2310.02601
项目主页：https://gaoruiyuan.com/magicdrive/
github: https://github.com/cure-lab/magicdrive
magicdrive多样化生成数据
magicdrive是一个突破性的解决方案利用可控生成技术合成自动驾环视相机视图，生成更多样化的自动驾驶数据，为自动驾驶场景仿真提供了新思路。
先来看一些magicdrive的生成效果。
多视角下，前景和背景都能保持一致性：
可以一键转雨天：
不止生成车，人、障碍物都能准确控制位置：
还可以一键转夜晚：
物体位置可以实现细粒度控制：
关键问题：多种3d条件的编码与注入
描述自动驾驶场景的条件是多维度的，包括：相机参数、物体框、路面地图以及对场景属性的语言描述（比如天气和时间）。如何将如此复杂的场景信息同时作为条件指导生成，是3d自动驾驶街景数据合成的重点问题。
bevgen[1]将3d几何信息（路面和物体位置）都投影在bev空间中，这会丢失全部高度信息，既无法控制物体高度/遮挡，也无法体现路面起伏；bevcontrol[2]将3d几何信息分别投影在相机视图中，对于没有高度信息的路面地图而言，投影本身就是一个欠定义的问题，而且这种做法丢失了深度信息，同样无法准确控制遮挡。
3d几何信息与不同2d投影（相机投影/bev）控制的比较
magicdrive在完整考虑这些控制条件的基础上，首次实现3d几何的直接控制。magicdrive结合diffusion model进行条件生成的优势，根据每个控制条件的形式，采用不同的方法对生成进行控制。
magicdrive的方法框架
具体来说，对于场景级别的信息（语言描述和相机参数）和物体框信息，由于他们具有可变长的性质，magicdrive先使用不同的编码器讲输入数据编码成嵌入序列，然后使用交叉注意力模块控制图像生成过程；
对于路面地图信息，bev能够很好地将路面表示成图像的形式，因此，使用类似controlnet[3]的额外编码器分支，就能够让生成遵循路面地图的条件。
删繁就简：不同视角的一致性生成
多视角一致性是3d场景相机视图生成的另一个重要要求。此前，已经有一些工作探索了室内场景中的多视角一致性约束方法，例如：mvdiffusion[5]和[6]，但室内场景通常视角之间重叠较大，因此他们借助了不同的几何先验来限制视角之间的关系。
对于自动驾驶场景，不同相机之间重叠程度是有限的，因此并不需要过强的几何约束。相反，在几何条件足够的情况下（即不同视角已经有独立的几何条件信息），只需要让不同视角的生成过程有信息交互，就能够保证前景和背景的一致生成。
因此magicdrive提出cross-view attention模块，用于在各个视角的生成过程中与左右相邻视角交换信息，确保了从多个视角看到的前景和背景是一致的，这大大提高了数据的真实性与可靠性。
corss-view attention 模块控制多视角的一致性
生成效果：在多个下游任务上提升明显
用以真实图像训练的感知模型评价生成模型产生的图片，magicdrive不仅可以在bev分割任务上超过baseline，并且能够直接支持3d物体检测任务，体现出优越的生成效果。
magicdrive生成的图片还可以直接用于数据增强，支持bev分割和3d物体检测任务，提升bevfusion[6]和cvt[7]的性能。
除此之外，magicdrive的多条件控制还可以实现场景、背景和前景的多层次街景图像编辑，用来生成更多的新街景图像。
更多评价结果与讨论请参考原论文。
总结
总的来说，magicdrive带给我们一个全新的、高效的数据生成途径。不仅成功解决了之街景生成中的3d几何控制问题，而且提供了一种全新的方法，利用细粒度可控生成技术为3d自动驾驶产生训练数据，生成数据的质量和真实性向自动驾驶的感知技术注入了新的活力。
HTC Vive Pro价格下调 公司意图发展其他业务
格兰仕推出新款油烟机 巨幕拢烟出新招
常见的协作机器人误解与其成本效益
增长最快的汽车半导体市场：汽车电子架构核心之以太网交换机
如何创建自动化脚本
港中文等发布MagicDrive：日夜、雨晴、多视角全覆盖，人、物位置随意变更
FPC层压工艺及其应用领域的介绍
极具性价比的步进电机驱动芯片-TMC2226/TMC2209使用小结
华为2017年超厉害的2款手机：华为荣耀9配置无敌，华为Mate10颜值美腻！你买吗？
电容器的电容由哪些因素决定？与所带电量有无关系？
博通公司通过嵌入式设备互联网无线连接产品加速可穿戴设备市场业务
一加7系列将首批适配Android Q Beta版本
苹果开发新屏幕技术迫在眉睫，Micro LED在逐步推进中
基于TDA7313DA和KID4558DI2芯片实现的总线控制多路音源电路
如何基于时间片论法的任务调度模式充分利用MCU的资源
详解百度大脑EdgeBoard出色的视频处理技术
中兴Axon9Pro评测 完全符合轻商务旗舰的产品定位
2023年第三季度中国可穿戴设备市场回暖：苹果仍领跑全球市场
小米华为还在争安卓7.1首发 却被这家厂商抢了风头！
三星GalaxyS10+上手体验 第一代实现了彻底地体验超越
在深度学习算法的应用中，高质量的数据是技术创新的关键驱动力，尤其在自动驾驶领域，获取和标注3d感知数据的成本不菲，对于许多研究者和开发者来说都是一个重大挑战。
为此，来自香港中文大学、香港科技大学和华为诺亚方舟实验室的研究人员联合提出了基于 diffusion的3d自动驾驶数据生成方法magicdrive。
通过多种3d几何条件的细粒度控制，magicdrive在生成高保真多相机街景图像的同时，还能够支持多种下游感知任务的训练。
论文地址：https://arxiv.org/abs/2310.02601
项目主页：https://gaoruiyuan.com/magicdrive/
github: https://github.com/cure-lab/magicdrive
magicdrive多样化生成数据
magicdrive是一个突破性的解决方案利用可控生成技术合成自动驾环视相机视图，生成更多样化的自动驾驶数据，为自动驾驶场景仿真提供了新思路。
先来看一些magicdrive的生成效果。
多视角下，前景和背景都能保持一致性：
可以一键转雨天：
不止生成车，人、障碍物都能准确控制位置：
还可以一键转夜晚：
物体位置可以实现细粒度控制：
关键问题：多种3d条件的编码与注入
描述自动驾驶场景的条件是多维度的，包括：相机参数、物体框、路面地图以及对场景属性的语言描述（比如天气和时间）。如何将如此复杂的场景信息同时作为条件指导生成，是3d自动驾驶街景数据合成的重点问题。
bevgen[1]将3d几何信息（路面和物体位置）都投影在bev空间中，这会丢失全部高度信息，既无法控制物体高度/遮挡，也无法体现路面起伏；bevcontrol[2]将3d几何信息分别投影在相机视图中，对于没有高度信息的路面地图而言，投影本身就是一个欠定义的问题，而且这种做法丢失了深度信息，同样无法准确控制遮挡。
3d几何信息与不同2d投影（相机投影/bev）控制的比较
magicdrive在完整考虑这些控制条件的基础上，首次实现3d几何的直接控制。magicdrive结合diffusion model进行条件生成的优势，根据每个控制条件的形式，采用不同的方法对生成进行控制。
magicdrive的方法框架
具体来说，对于场景级别的信息（语言描述和相机参数）和物体框信息，由于他们具有可变长的性质，magicdrive先使用不同的编码器讲输入数据编码成嵌入序列，然后使用交叉注意力模块控制图像生成过程；
对于路面地图信息，bev能够很好地将路面表示成图像的形式，因此，使用类似controlnet[3]的额外编码器分支，就能够让生成遵循路面地图的条件。
删繁就简：不同视角的一致性生成
多视角一致性是3d场景相机视图生成的另一个重要要求。此前，已经有一些工作探索了室内场景中的多视角一致性约束方法，例如：mvdiffusion[5]和[6]，但室内场景通常视角之间重叠较大，因此他们借助了不同的几何先验来限制视角之间的关系。
对于自动驾驶场景，不同相机之间重叠程度是有限的，因此并不需要过强的几何约束。相反，在几何条件足够的情况下（即不同视角已经有独立的几何条件信息），只需要让不同视角的生成过程有信息交互，就能够保证前景和背景的一致生成。
因此magicdrive提出cross-view attention模块，用于在各个视角的生成过程中与左右相邻视角交换信息，确保了从多个视角看到的前景和背景是一致的，这大大提高了数据的真实性与可靠性。
corss-view attention 模块控制多视角的一致性
生成效果：在多个下游任务上提升明显
用以真实图像训练的感知模型评价生成模型产生的图片，magicdrive不仅可以在bev分割任务上超过baseline，并且能够直接支持3d物体检测任务，体现出优越的生成效果。
magicdrive生成的图片还可以直接用于数据增强，支持bev分割和3d物体检测任务，提升bevfusion[6]和cvt[7]的性能。
除此之外，magicdrive的多条件控制还可以实现场景、背景和前景的多层次街景图像编辑，用来生成更多的新街景图像。
更多评价结果与讨论请参考原论文。
总结
总的来说，magicdrive带给我们一个全新的、高效的数据生成途径。不仅成功解决了之街景生成中的3d几何控制问题，而且提供了一种全新的方法，利用细粒度可控生成技术为3d自动驾驶产生训练数据，生成数据的质量和真实性向自动驾驶的感知技术注入了新的活力。
HTC Vive Pro价格下调 公司意图发展其他业务
格兰仕推出新款油烟机 巨幕拢烟出新招
常见的协作机器人误解与其成本效益
增长最快的汽车半导体市场：汽车电子架构核心之以太网交换机
如何创建自动化脚本
港中文等发布MagicDrive：日夜、雨晴、多视角全覆盖，人、物位置随意变更
FPC层压工艺及其应用领域的介绍
极具性价比的步进电机驱动芯片-TMC2226/TMC2209使用小结
华为2017年超厉害的2款手机：华为荣耀9配置无敌，华为Mate10颜值美腻！你买吗？
电容器的电容由哪些因素决定？与所带电量有无关系？
博通公司通过嵌入式设备互联网无线连接产品加速可穿戴设备市场业务
一加7系列将首批适配Android Q Beta版本
苹果开发新屏幕技术迫在眉睫，Micro LED在逐步推进中
基于TDA7313DA和KID4558DI2芯片实现的总线控制多路音源电路
如何基于时间片论法的任务调度模式充分利用MCU的资源
详解百度大脑EdgeBoard出色的视频处理技术
中兴Axon9Pro评测 完全符合轻商务旗舰的产品定位
2023年第三季度中国可穿戴设备市场回暖：苹果仍领跑全球市场
小米华为还在争安卓7.1首发 却被这家厂商抢了风头！
三星GalaxyS10+上手体验 第一代实现了彻底地体验超越