汽车电子系统中传感器融合方案
目前，汽车已经成为人们日常出行使用最多的交通工具。为了保证司乘人员和行人的安全，辅助驾驶和自动驾驶越来越成为汽车的标准配置。从l1级别的adas应用fcw(前向碰撞预警)、ldw(车道偏离预警)、l2级别的 aeb(自动紧急制动)、lka(车道保持辅助)、到更高级别的acc(自适应巡航)、avp(代客泊车系统)等等， 辅助驾驶/自动驾驶在汽车电子系统中有着越来越大比例的应用。为了实现性能更强、稳定性更高和准确性更高的辅助驾驶、自动驾驶，汽车需要获知本身的位置信息和周边的环境信息，不同种类的传感器，如视觉传感器、激光传感器(lidar)、毫米波传感器(radar)等，在不同的工作环境下各有优缺点，而融合来自多个传感器数据的过程。可以提供更高的可靠性、冗余性以及最终的安全性。赛灵思作为可编程器件的领导品牌，在汽车电子系统，尤其在传感器融合方面提供了全面的方案。且待本文向您徐徐道来。
1. 融合! 融合起来!
随着辅助驾驶/自动驾驶的等级逐步提高，对传感器种类和数量的要求会逐步增加。l1级别需求(如fcw(前向碰撞预警)、ldw(车道偏离预警)) 主要由单个传感器，如单个视觉摄像头、单个毫米波或摄像头加毫米波的组合来实现相关预警功能:
l2级别需求(aeb(自动紧急制动)、lka(车道保持辅助)) ，因为需要对车身部分(如底盘的刹车控制系统) 进行直接控制，需要两个或以上不同的传感器来互相校验，确保在各种环境下不错过必须处理的信息，并加强冗余度，一般会有多个视觉摄像头(比如由4个摄像头组成360环视系统，加上一个单独用于前向预警的摄像头，共计5个摄像头的系统)、一个或若干毫米波及其他传感器完成辅助驾驶功能：
对于l3来讲，由于高级别半自动驾驶(如代客泊车avp)需要对地图进行构建，并进行基于地图的路径规划，通常需要引入激光雷达(为解决盲区，还需要布置高低位置的多个激光雷达)，视觉、毫米波和激光雷达的数量总数基本会超过10个:
随着高级辅助驾驶需要更多传感器种类与数量，如何将这些信号归一化为主控soc需要的数据，也就是传感器数据归一化(normalization)的需求如何实现呢?这就是我们提及的传感器融合的需求了：
那么传感器数据数据归一化，具体来说要如何进行呢?我们由下图来解释一下：
将多个传感器数据的负载(payload)， 统一打包为包含报文种类、时间戳(time stamp)、其他包头信息和负载的数据包，传送至主控芯片，就是传感器融合的信息了。
我们来总结一下传感器融合的作用：
a 获取车辆环境信息;
b 获得更精确的结果;
--均衡不同传感器的权重
--针对传感器失效的鲁棒性
--各传感器取长补短
c 主要任务
--定位
--地图绘制
--路径规划
2. 当融合时且融合
当我们意识到传感器融合的优势时，就会发现fpga在传感器融合上的优势：
--fpga的io pin可以灵活配置，适合不同的传感器接口
--fpga的逻辑可以灵活设计，针对不同型号的传感器做出针对性的设计。
而传感器融合的基石，就是如何进行数据同步!
如果不进行同步的话，假设有一个目标高速经过车辆前部，如果各传感器不同步，不同的传感器会给出不同的目标方位和相对距离信息，会令处理系统很难做出正确响应：
但如果进行了同步，所有观感器信息反馈的信息都是基于同一时间点，针对同一个目标反馈的目标速度、相对距离、角度等信息也不会产生混淆：
针对上述的同步，具体方式如下:
1. 硬件同步 / hardware synchronization
--使用同步触发(trigger acquisition， fpga的强项之一哦!)
--所有传感器使用同一个硬件给出的时钟源(fpga的io资源非常适合做配置!).
2. 软件同步 / software synchronization
--使用时间戳(timestamp ) 同步
--每个传感器自行加入校正后的时间戳
3. 空间同步 / spatial synchronization
将各传感器坐标系统归一化为统一系统(对坐标系转换的硬件加速也是fpga的强项!)
4. 时空同步 / spatiotemporal synchronization
--以上所有同步的综合
下面也给出一些使用fpga进行同步的技术技巧：
1. 统一的的坐标系与时钟;
2. 使用gps提供时间戳的时钟同步与校准;
3. 一般使用激光雷达提供trigger , 作为数据对齐基础;
--这是自动驾驶技术的历史传承，基于ros / ros2 的 autoware， baidu的apollo及其他开源版本都是如此。
4. 传感器相互之间进行校正 ( sensorcalibration );
同步后数据，如何通过网络在车内网络传输，也是传感器融合的重要功能，而tsn (时钟同步网络) 更是会助力融合更好地进行!
基于802.1 as的tsn我们在之前的文章中已经有介绍，如有您有在赛灵思器件上实现tsn的需求，也请联系科通，我们为您提供咨询和支持。
3. 如何十分安全地融合?
既然传感器融合主要用于汽车应用，功能安全就变得非常重要!针对功能安全的需求，作为可编程器件领先品牌，赛灵思针对各行业的安全需求，提供了由原厂或第三方提供的服务:
其中和汽车相关的 iec-61508和 iso-26262认证，赛灵思都提供原厂直接支持的文档、工具和服务。
当然还有经过车规验证的各型号soc/fpga、ip、工具链和参考设计开发板，如果您有需求，都欢迎联系科通哦!
4. 有科通，融合更方便
针对车规需求，我们集成科通代理的相关产线，为您提供整体方案。下图也只是其中一部分哦!
原文标题：基于赛灵思的传感器融合方案
文章出处：【微信公众号：comtech科通】欢迎添加关注!文章转载请注明出处。
如何让NB-IOT和LTE-M蜂窝技术使物联网解决方案经得起考验
三大GPU厂商对元宇宙的态度
华为重磅推出十大“SUPER”精品专网产品
EV与PHEV市场分化下的动力电池趋势
全球首款搭载WLG玻塑混合镜头手机——Redmi K40游戏增强版
汽车电子系统中传感器融合方案
宝马100亿动力电池生产基地落地沈阳
红外遥控双模式交通灯控制系统课程设计
AR/VR市场苏醒：2018全球将有178亿美元支出消费 商业领域极速增长
DCM下峰值电流控制的变换器建模
未来中国或将在新能源汽车行业占据主导地位
魅族pro7plus和三星S8对比评测
在机械行业中,直线导轨和弧形导轨哪个应用范围更广泛？
双十二哪款蓝牙耳机音质好？音质好的蓝牙耳机推荐
小米7最新消息：全面屏+人脸识别+首发骁龙845，性价比依旧
2021年中国联通建议您办这些事
使用Basemark PAT优化功耗应用程序
指纹识别成摆设？研究报告显示假指纹骗过你手机的成功率高达80%
三星首款集成5G调制解调器的AI移动处理器
智能天线原理
1. 融合! 融合起来!
随着辅助驾驶/自动驾驶的等级逐步提高，对传感器种类和数量的要求会逐步增加。l1级别需求(如fcw(前向碰撞预警)、ldw(车道偏离预警)) 主要由单个传感器，如单个视觉摄像头、单个毫米波或摄像头加毫米波的组合来实现相关预警功能:
l2级别需求(aeb(自动紧急制动)、lka(车道保持辅助)) ，因为需要对车身部分(如底盘的刹车控制系统) 进行直接控制，需要两个或以上不同的传感器来互相校验，确保在各种环境下不错过必须处理的信息，并加强冗余度，一般会有多个视觉摄像头(比如由4个摄像头组成360环视系统，加上一个单独用于前向预警的摄像头，共计5个摄像头的系统)、一个或若干毫米波及其他传感器完成辅助驾驶功能：
对于l3来讲，由于高级别半自动驾驶(如代客泊车avp)需要对地图进行构建，并进行基于地图的路径规划，通常需要引入激光雷达(为解决盲区，还需要布置高低位置的多个激光雷达)，视觉、毫米波和激光雷达的数量总数基本会超过10个:
随着高级辅助驾驶需要更多传感器种类与数量，如何将这些信号归一化为主控soc需要的数据，也就是传感器数据归一化(normalization)的需求如何实现呢?这就是我们提及的传感器融合的需求了：
那么传感器数据数据归一化，具体来说要如何进行呢?我们由下图来解释一下：
将多个传感器数据的负载(payload)， 统一打包为包含报文种类、时间戳(time stamp)、其他包头信息和负载的数据包，传送至主控芯片，就是传感器融合的信息了。
我们来总结一下传感器融合的作用：
a 获取车辆环境信息;
b 获得更精确的结果;
--均衡不同传感器的权重
--针对传感器失效的鲁棒性
--各传感器取长补短
c 主要任务
--定位
--地图绘制
--路径规划
2. 当融合时且融合
当我们意识到传感器融合的优势时，就会发现fpga在传感器融合上的优势：
--fpga的io pin可以灵活配置，适合不同的传感器接口
--fpga的逻辑可以灵活设计，针对不同型号的传感器做出针对性的设计。
而传感器融合的基石，就是如何进行数据同步!
如果不进行同步的话，假设有一个目标高速经过车辆前部，如果各传感器不同步，不同的传感器会给出不同的目标方位和相对距离信息，会令处理系统很难做出正确响应：
但如果进行了同步，所有观感器信息反馈的信息都是基于同一时间点，针对同一个目标反馈的目标速度、相对距离、角度等信息也不会产生混淆：
针对上述的同步，具体方式如下:
1. 硬件同步 / hardware synchronization
--使用同步触发(trigger acquisition， fpga的强项之一哦!)
--所有传感器使用同一个硬件给出的时钟源(fpga的io资源非常适合做配置!).
2. 软件同步 / software synchronization
--使用时间戳(timestamp ) 同步
--每个传感器自行加入校正后的时间戳
3. 空间同步 / spatial synchronization
将各传感器坐标系统归一化为统一系统(对坐标系转换的硬件加速也是fpga的强项!)
4. 时空同步 / spatiotemporal synchronization
--以上所有同步的综合
下面也给出一些使用fpga进行同步的技术技巧：
1. 统一的的坐标系与时钟;
2. 使用gps提供时间戳的时钟同步与校准;
3. 一般使用激光雷达提供trigger , 作为数据对齐基础;
--这是自动驾驶技术的历史传承，基于ros / ros2 的 autoware， baidu的apollo及其他开源版本都是如此。
4. 传感器相互之间进行校正 ( sensorcalibration );
同步后数据，如何通过网络在车内网络传输，也是传感器融合的重要功能，而tsn (时钟同步网络) 更是会助力融合更好地进行!
基于802.1 as的tsn我们在之前的文章中已经有介绍，如有您有在赛灵思器件上实现tsn的需求，也请联系科通，我们为您提供咨询和支持。
3. 如何十分安全地融合?
既然传感器融合主要用于汽车应用，功能安全就变得非常重要!针对功能安全的需求，作为可编程器件领先品牌，赛灵思针对各行业的安全需求，提供了由原厂或第三方提供的服务:
其中和汽车相关的 iec-61508和 iso-26262认证，赛灵思都提供原厂直接支持的文档、工具和服务。
当然还有经过车规验证的各型号soc/fpga、ip、工具链和参考设计开发板，如果您有需求，都欢迎联系科通哦!
4. 有科通，融合更方便
针对车规需求，我们集成科通代理的相关产线，为您提供整体方案。下图也只是其中一部分哦!
原文标题：基于赛灵思的传感器融合方案
文章出处：【微信公众号：comtech科通】欢迎添加关注!文章转载请注明出处。
如何让NB-IOT和LTE-M蜂窝技术使物联网解决方案经得起考验
三大GPU厂商对元宇宙的态度
华为重磅推出十大“SUPER”精品专网产品
EV与PHEV市场分化下的动力电池趋势
全球首款搭载WLG玻塑混合镜头手机——Redmi K40游戏增强版
汽车电子系统中传感器融合方案
宝马100亿动力电池生产基地落地沈阳
红外遥控双模式交通灯控制系统课程设计
AR/VR市场苏醒：2018全球将有178亿美元支出消费 商业领域极速增长
DCM下峰值电流控制的变换器建模
未来中国或将在新能源汽车行业占据主导地位
魅族pro7plus和三星S8对比评测
在机械行业中,直线导轨和弧形导轨哪个应用范围更广泛？
双十二哪款蓝牙耳机音质好？音质好的蓝牙耳机推荐
小米7最新消息：全面屏+人脸识别+首发骁龙845，性价比依旧
2021年中国联通建议您办这些事
使用Basemark PAT优化功耗应用程序
指纹识别成摆设？研究报告显示假指纹骗过你手机的成功率高达80%
三星首款集成5G调制解调器的AI移动处理器
智能天线原理