基于SoC的双目视觉ADAS解决方案
相比于单目视觉，双目视觉（stereo vision）的关键区别在于可以利用双摄像头从不同角度对同一目标成像，从而获取视差信息，推算目标距离。未来十年，为了完成从感知+预警到决策+执行的进化之路，高级辅助驾驶系统（adas）将接入更多的传感器，实现更为复杂的计算，同时具备更高的安全性。
图1：s32v234结构图
s32v234采用了4颗arm cortex a53作为核心cpu，以获得更高的性能功耗比。另外，s32v234包含了一颗arm cortex m4来作为片上mcu，主要用于关键io（如can-fd）的实时控制，并支持autosar操作系统。
芯片集成了两路mipi-csi2和两路16bit并行相机接口，以及gbit以太网控制器，为图像传感器的输入提供了多种选择。同时芯片内部包含了可编程的图像信号处理（isp）硬件模块。利用嵌入式isp，外部配搭的图像传感器可以输出raw data，从而降低物料成本，节省空间尺寸。另外，芯片还包含了两个名为apex2cl的视觉加速引擎。每个apex2cl拥有64个本地计算单元（cu），并配有本地内存，通过simd/mimd（单指令多数据/多指令多数据）的处理方式对图像识别过程进行加速。 另外值得指出的是，考虑到adas系统对安全性和可靠性的严苛需求，s32v234在设计时加入了诸如ecc（错误检查与纠正），fccu（故障收集与控制单元），m/l bist（内存/逻辑内置自测）等多种安全机制，能够满足iso26262 asil b~c的需求。
双目视觉简介 相比于单目视觉，双目视觉（stereo vision）的关键区别在于可以利用双摄像头从不同角度对同一目标成像，从而获取视差信息，推算目标距离。具体到视觉adas应用来说，如果采用单目摄像头，为了识别行人和车辆等目标，通常需要大规模的数据采集和训练来完成机器学习算法，并且难以识别不规则物体；而利用毫米波雷达和激光雷达进行测距的精度虽然较高，但是成本和难度亦较高。所以，双目视觉的最大优势在于维持开发成本较低的前提下，实现一定精度的目标识别和测距，完成fcw（前方碰撞预警）等adas功能。
双目视觉测距的基本原理并不复杂，如图2所示，p为目标点，它在左右两个相机（镜头中心分别为a和b）上的成像点分别为e和f，则p点在两个相机中的视差为d=ec+df。根据三角形ace与poa以及三角形bdf与pob的相似性，推导可得d=（fq）/z，其中f为相机焦距，q为两相机光轴的距离，z为目标到相机平面的距离。则距离z=（fq）/d，而f和q可认为是固定参数，所以求出视差信号d即可求得距离z。
图2：双目视觉测距原理
根据双目视觉的测距原理，通常将其实现过程分为五个步骤：相机标定，图像获取，图像预处理，特征提取与立体匹配，三维重构。其中，相机标定是为了得到相机的内外参数和畸变系数等，可以离线进行；而左右相机图像获取的同步性，图像预处理的质量和一致性，以及立体匹配（获取视差信息）和三维重构（获取距离信息）算法的实时性要求带来的巨大运算量，对在嵌入式平台上实现双目视觉adas提出了挑战。
基于s32v234的双目视觉adas解决方案 s32v234片上具有两路mipi-csi2相机接口，每一路最大可提供6gbps的传输速率，可用于左右两路相机的视频输入。由于两路相机分别输入两个mipi通道，需要考虑二者之间的同步问题。在外部图像传感器的配合下，s23v324能够支持不同的同步方式。如图3所示，图像传感器通常具有场同步信号（vsync）和行同步信号（hsync）来进行信号同步：当两路相机工作在主从模式时，由master向slave发送同步信号；当两路相机都工作在从模式时，可以由s32v234内部定时器产生同步信号，同时发送给两路相机。
图3：双目相机同步方案
在s32v234获取外部相机的图像信号后，可以由内部的isp进行预处理。isp模块包含多个针对isp功能进行优化的处理单元，利用片上sram对输入信号和中间处理结果进行缓存，并采用一个基于arm cortex m0+的专用协处理器来管理isp处理单元的时序，从而实现图像信号的像素级处理。由于isp位于芯片内部并且可以灵活编程，所以不仅能够节省双目相机外置isp的成本，而且其运算资源和带宽能够支持对双路高达1080p@30fps图像信号的实时处理，保证了双路图像信号的质量和一致性。
在双目视觉adas应用中，最大的挑战来自于对两路图像进行立体匹配和三维重构所需要的巨大运算量。以fcw应用为例，既要求视差信号的提取具有足够的精度以保证测距精度，又要求处理帧频维持一定水平以保证预警的响应速度，因此要求嵌入式平台具有足够的处理能力。s32v234中集成的图像加速引擎apex2的结构如图4所示，其并行计算结构和专用dma等设计保证了对图像信号具有极高的处理效率。具体来说，isp对图像信号预处理完毕后送入ddr，apex2引擎将图像分割后经由专用dma将其送入每个cu对应的本地内存cmem中，而立体匹配所需要的块匹配（block matching）等算法可以在不同的cu中并行处理，处理完毕后的数据经由dma送回ddr，由cpu进行进一步处理（如生成预警信号），或送至专门的dcu（display control unit）模块输出显示。
图4：apex2架构及图像处理示意图
综上所述，基于s32v234的双目视觉应用数据流如图5所示。在该应用中，数据流按照isp-apex2-dcu的方向流动，a53作为主控cpu完成逻辑控制和必要的数据处理。通过这种流水线式的处理方式，可以使各部分计算资源充分利用，提高计算效率。
图5：基于s32v234的双目视觉数据流
利用s32v234开发板搭建双目视觉平台，对双路720p@30fps视频信号进行处理，其输出结果如图6所示。其中从左至右的三幅图中目标与相机的距离分别为1m，2m，3m，显示结果以冷暖色调的变化表征目标距离。结果表明，s32v234能够对双目视觉信号进行实时处理，正确得到三维测距结果，同时辅以芯片的各项安全性设计，可以满足双目视觉adas系统的需求。
图6：s32v234双目视觉显示结果
总结 恩智浦的视觉adas专用芯片s32v234集成了图像信号处理器isp，图形加速引擎apex2，3d gpu等专用计算单元，通过流水线式的处理架构使各个异构计算资源充分利用；不同计算模块对opencv ，opencl和openvg等多种api的支持增强了算法的可移植性；而符合iso26262标准的功能安全设计使得芯片能够满足adas系统对安全性的严苛需求。s32v234支持包括双目视觉在内的多种视觉adas和传感器数据融合解决方案，使得我们在通往无人驾驶的道路上迈出坚实的一步。
多模LTE芯片激战伊始 Marvell押注中国LTE市场
马绍尔群岛试图成为加密货币世界的开曼群岛
华为数字能源点亮行业绿色发展未来
8K时代来临，LED显示企业将大有可为
具有高低音调节的放大器电路图
基于SoC的双目视觉ADAS解决方案
小米6、小米note3对比评测：同为2499元，骁龙660和骁龙835，怎么选你知道的
新的经济模式中数据驱动组织的成功程度
如何选择物联网蓝牙解决方案
OPPOR11确定六月发布，发布会预热海报先来一波，臻美自拍再升级！
现在入行智能家居还算晚吗
音圈模组加持的激光雷达将助力国产乘用车的发展
自制雷电检测器来了解 EMI
基于微流控和浸渍密封技术的微型机器人
运算放大器的基本应用盘点
DC电源模块的主要作用与应用
BA系统中有那些传感器
映泰推出X370GTN/B350GTN主板：AMD Ryzen终迎ITX平台
vivo宣布延长产品保修期限，众多贴心服务齐上线
基于单片机的红外门控系统源程序
图1：s32v234结构图
s32v234采用了4颗arm cortex a53作为核心cpu，以获得更高的性能功耗比。另外，s32v234包含了一颗arm cortex m4来作为片上mcu，主要用于关键io（如can-fd）的实时控制，并支持autosar操作系统。
芯片集成了两路mipi-csi2和两路16bit并行相机接口，以及gbit以太网控制器，为图像传感器的输入提供了多种选择。同时芯片内部包含了可编程的图像信号处理（isp）硬件模块。利用嵌入式isp，外部配搭的图像传感器可以输出raw data，从而降低物料成本，节省空间尺寸。另外，芯片还包含了两个名为apex2cl的视觉加速引擎。每个apex2cl拥有64个本地计算单元（cu），并配有本地内存，通过simd/mimd（单指令多数据/多指令多数据）的处理方式对图像识别过程进行加速。 另外值得指出的是，考虑到adas系统对安全性和可靠性的严苛需求，s32v234在设计时加入了诸如ecc（错误检查与纠正），fccu（故障收集与控制单元），m/l bist（内存/逻辑内置自测）等多种安全机制，能够满足iso26262 asil b~c的需求。
双目视觉简介 相比于单目视觉，双目视觉（stereo vision）的关键区别在于可以利用双摄像头从不同角度对同一目标成像，从而获取视差信息，推算目标距离。具体到视觉adas应用来说，如果采用单目摄像头，为了识别行人和车辆等目标，通常需要大规模的数据采集和训练来完成机器学习算法，并且难以识别不规则物体；而利用毫米波雷达和激光雷达进行测距的精度虽然较高，但是成本和难度亦较高。所以，双目视觉的最大优势在于维持开发成本较低的前提下，实现一定精度的目标识别和测距，完成fcw（前方碰撞预警）等adas功能。
双目视觉测距的基本原理并不复杂，如图2所示，p为目标点，它在左右两个相机（镜头中心分别为a和b）上的成像点分别为e和f，则p点在两个相机中的视差为d=ec+df。根据三角形ace与poa以及三角形bdf与pob的相似性，推导可得d=（fq）/z，其中f为相机焦距，q为两相机光轴的距离，z为目标到相机平面的距离。则距离z=（fq）/d，而f和q可认为是固定参数，所以求出视差信号d即可求得距离z。
图2：双目视觉测距原理
根据双目视觉的测距原理，通常将其实现过程分为五个步骤：相机标定，图像获取，图像预处理，特征提取与立体匹配，三维重构。其中，相机标定是为了得到相机的内外参数和畸变系数等，可以离线进行；而左右相机图像获取的同步性，图像预处理的质量和一致性，以及立体匹配（获取视差信息）和三维重构（获取距离信息）算法的实时性要求带来的巨大运算量，对在嵌入式平台上实现双目视觉adas提出了挑战。
基于s32v234的双目视觉adas解决方案 s32v234片上具有两路mipi-csi2相机接口，每一路最大可提供6gbps的传输速率，可用于左右两路相机的视频输入。由于两路相机分别输入两个mipi通道，需要考虑二者之间的同步问题。在外部图像传感器的配合下，s23v324能够支持不同的同步方式。如图3所示，图像传感器通常具有场同步信号（vsync）和行同步信号（hsync）来进行信号同步：当两路相机工作在主从模式时，由master向slave发送同步信号；当两路相机都工作在从模式时，可以由s32v234内部定时器产生同步信号，同时发送给两路相机。
图3：双目相机同步方案
在s32v234获取外部相机的图像信号后，可以由内部的isp进行预处理。isp模块包含多个针对isp功能进行优化的处理单元，利用片上sram对输入信号和中间处理结果进行缓存，并采用一个基于arm cortex m0+的专用协处理器来管理isp处理单元的时序，从而实现图像信号的像素级处理。由于isp位于芯片内部并且可以灵活编程，所以不仅能够节省双目相机外置isp的成本，而且其运算资源和带宽能够支持对双路高达1080p@30fps图像信号的实时处理，保证了双路图像信号的质量和一致性。
在双目视觉adas应用中，最大的挑战来自于对两路图像进行立体匹配和三维重构所需要的巨大运算量。以fcw应用为例，既要求视差信号的提取具有足够的精度以保证测距精度，又要求处理帧频维持一定水平以保证预警的响应速度，因此要求嵌入式平台具有足够的处理能力。s32v234中集成的图像加速引擎apex2的结构如图4所示，其并行计算结构和专用dma等设计保证了对图像信号具有极高的处理效率。具体来说，isp对图像信号预处理完毕后送入ddr，apex2引擎将图像分割后经由专用dma将其送入每个cu对应的本地内存cmem中，而立体匹配所需要的块匹配（block matching）等算法可以在不同的cu中并行处理，处理完毕后的数据经由dma送回ddr，由cpu进行进一步处理（如生成预警信号），或送至专门的dcu（display control unit）模块输出显示。
图4：apex2架构及图像处理示意图
综上所述，基于s32v234的双目视觉应用数据流如图5所示。在该应用中，数据流按照isp-apex2-dcu的方向流动，a53作为主控cpu完成逻辑控制和必要的数据处理。通过这种流水线式的处理方式，可以使各部分计算资源充分利用，提高计算效率。
图5：基于s32v234的双目视觉数据流
利用s32v234开发板搭建双目视觉平台，对双路720p@30fps视频信号进行处理，其输出结果如图6所示。其中从左至右的三幅图中目标与相机的距离分别为1m，2m，3m，显示结果以冷暖色调的变化表征目标距离。结果表明，s32v234能够对双目视觉信号进行实时处理，正确得到三维测距结果，同时辅以芯片的各项安全性设计，可以满足双目视觉adas系统的需求。
图6：s32v234双目视觉显示结果
总结 恩智浦的视觉adas专用芯片s32v234集成了图像信号处理器isp，图形加速引擎apex2，3d gpu等专用计算单元，通过流水线式的处理架构使各个异构计算资源充分利用；不同计算模块对opencv ，opencl和openvg等多种api的支持增强了算法的可移植性；而符合iso26262标准的功能安全设计使得芯片能够满足adas系统对安全性的严苛需求。s32v234支持包括双目视觉在内的多种视觉adas和传感器数据融合解决方案，使得我们在通往无人驾驶的道路上迈出坚实的一步。
多模LTE芯片激战伊始 Marvell押注中国LTE市场
马绍尔群岛试图成为加密货币世界的开曼群岛
华为数字能源点亮行业绿色发展未来
8K时代来临，LED显示企业将大有可为
具有高低音调节的放大器电路图
基于SoC的双目视觉ADAS解决方案
小米6、小米note3对比评测：同为2499元，骁龙660和骁龙835，怎么选你知道的
新的经济模式中数据驱动组织的成功程度
如何选择物联网蓝牙解决方案
OPPOR11确定六月发布，发布会预热海报先来一波，臻美自拍再升级！
现在入行智能家居还算晚吗
音圈模组加持的激光雷达将助力国产乘用车的发展
自制雷电检测器来了解 EMI
基于微流控和浸渍密封技术的微型机器人
运算放大器的基本应用盘点
DC电源模块的主要作用与应用
BA系统中有那些传感器
映泰推出X370GTN/B350GTN主板：AMD Ryzen终迎ITX平台
vivo宣布延长产品保修期限，众多贴心服务齐上线
基于单片机的红外门控系统源程序