恩智浦双目视觉ADAS解决方案
双目视觉adas芯片-s32v234
s32v234采用了4颗arm cortex a53作为核心cpu，以获得更高的性能功耗比。利用一颗arm cortex m4作为片上mcu，用于关键io（如can-fd）的实时控制，并支持autosar操作系统。芯片内部包含可编程的图像信号处理器（isp），所以配搭的图像传感器可以输出raw data，从而降低物料成本，节省空间尺寸。
另外，芯片还包含了两个名为apex2cl的视觉加速引擎。每个apex2cl拥有64个本地计算单元（cu），并配有本地内存和专用dma，通过simd/mimd（单指令多数据/多指令多数据）方式对图像识别过程进行加速。
另外值得指出的是，考虑到adas系统对安全性和可靠性的严苛需求，s32v234在设计时加入了诸如ecc（错误检查与纠正），fccu（故障收集与控制单元），m/l bist（内存/逻辑内置自测）等多种安全机制，能够满足iso26262 asil b~c的需求。
双目视觉adas的优势
相比于单目视觉，双目视觉（stereo vision）的关键区别在于可以利用双摄像头从不同角度对同一目标成像，从而获取视差信息，推算目标距离。具体到视觉adas应用来说，如果采用单目摄像头，为了识别行人和车辆等目标，通常需要大规模的数据采集和训练来完成机器学习算法，并且难以识别不规则物体；而利用毫米波雷达和激光雷达进行测距的精度虽然较高，但是成本和难度亦较高。
双目视觉的最大优势在于维持开发成本较低的前提下，实现一定精度的目标识别和测距，完成fcw（前方碰撞预警）等adas功能。
双目视觉测距的基本原理如图2所示：目标点p在两个相机中的视差为d=ec+df，根据三角形的相似性，推导可得距离z=（fq）/d。其中焦距f和相机光轴距离q可认为是固定参数，所以求出视差信号d即可求得距离z。
双目视觉的测距步骤
相机标定
图像获取
图像预处理
特征提取与立体匹配
三维重构
其中，相机标定是为了得到相机的内外参数和畸变系数等，可以离线进行；而左右相机图像获取的同步性，图像预处理的质量和一致性，以及立体匹配（获取视差信息）和三维重构（获取距离信息）算法的实时性要求带来的巨大运算量，对在嵌入式平台上实现双目视觉adas提出了挑战。
双目视觉adas的应用
s32v234芯片上具有两路mipi-csi2相机接口，每一路最大可提供6gbps的传输速率，可用于左右两路相机的视频输入。由于两路相机分别输入两个mipi通道，需要考虑二者之间的同步问题。在外部图像传感器的配合下，s23v324能够支持不同的同步方式。如图3所示，图像传感器通常具有场同步信号（vsync）和行同步信号（hsync）来进行信号同步：
⊿ 当两路相机工作在主从模式时，由master向slave发送同步信号
⊿ 当两路相机都工作在从模式时，可由s32v234内部定时器产生同步信号，同时发送给两路相机。
在s32v234获取外部相机的图像信号后，可以由内部的isp进行预处理。isp模块包含多个内部处理单元，利用片上sram对输入信号和中间结果进行缓存，并采用专用协处理器来管理isp处理单元的时序，从而实现流水线式的isp处理。内置isp不仅能够节省双路相机的成本，且其运算资源和带宽能够支持对双路高清图像信号的实时处理，保证了双路图像信号的质量和一致性。
双目视觉adsa的解决方案
在双目视觉adas应用中，最大的挑战来自于对两路图像进行立体匹配和三维重构所需要的巨大运算量。以fcw应用为例，既要求视差信号的提取具有足够的精度以保证测距精度，又要求处理帧频维持一定水平以保证预警的响应速度，因此要求嵌入式平台具有足够的处理能力。
s32v234中集成的图像加速引擎apex2的结构如图4所示，其并行计算结构，本地内存和专用dma等设计保证了对图像信号具有极高的处理效率。isp对图像信号预处理完毕后送入ddr，apex2引擎将图像分割后经由专用dma将其送入每个cu对应的本地内存cmem中，而立体匹配所需要的块匹配（block matching）等算法可以在不同的cu中并行处理，处理完毕后的数据经由dma送回ddr，由cpu进行进一步处理（如生成预警信号），或送至专门的dcu（display control unit）模块输出显示。
综上所述，基于s32v234的双目视觉应用数据流如图5所示。在该应用中，数据流按照isp-apex2-dcu的方向流动，a53作为主控cpu完成逻辑控制和必要的数据处理。通过这种流水线式的处理方式，可以使各部分计算资源充分利用。
利用s32v234开发板搭建双目视觉平台，对双路720p@30fps视频信号进行处理，其输出结果如图6所示。其中从左至右的三幅图中目标与相机的距离分别为1m，2m，3m，显示结果以冷暖色调的变化表征目标距离。
结果表明，s32v234能够对双目视觉信号进行实时处理，正确得到三维测距结果，同时辅以芯片的各项安全性设计，可以满足双目视觉adas系统的需求。
总结
恩智浦的视觉adas专用芯片s32v234集成了图像信号处理器isp，图形加速引擎apex2，3d gpu等专用计算单元，通过流水线式的处理架构使各个异构计算资源充分利用。不同计算模块对opencv ，opencl和openvg等多种api的支持增强了算法的可移植性。符合iso26262标准的功能安全设计使得芯片能够满足adas系统对安全性的严苛需求。s32v234支持包括双目视觉在内的多种视觉adas和传感器数据融合解决方案，使得我们在通往无人驾驶的道路上迈出坚实的一步。
A股区块链上市公司概念股盘点整体表现明显低于上市公司
华为全光城市目标网架构,加速构建5G商业正循环
如何鉴别笔记本电脑电池品质优劣？
长江存储32层三维NAND闪存芯片量产提上日程 光谷是希望之地
如何使用脉冲加方向方式对步进电机进行位置的自由控制
恩智浦双目视觉ADAS解决方案
押注向量数据库，为时过早？
超小超薄封装COBP光反射器NJL5901R-2/NJL59
烟道流量计用的高温超声波换能器接收信号是什么样？
众多LED企业携重磅产品亮相2023 ALE展
参考时钟对SERDES性能的影响
票据打印机的打印宽度
什么是 “星闪”？星闪技术架构和特点分析
高压漏电起痕试验机的应用范围以及优势介绍
韩国持续领跑全球5G网络建设
quartus是什么_quartus有什么用
华为发布新一代互联网基础设施解决方案，助力ISP行业绿色数字化
高通历年芯片发展看智能手机领域变迁
稳压器功率的选择 稳压器的选配
新亮智能推出的系列VCSEL芯片产品，无疑是一抹亮色
s32v234采用了4颗arm cortex a53作为核心cpu，以获得更高的性能功耗比。利用一颗arm cortex m4作为片上mcu，用于关键io（如can-fd）的实时控制，并支持autosar操作系统。芯片内部包含可编程的图像信号处理器（isp），所以配搭的图像传感器可以输出raw data，从而降低物料成本，节省空间尺寸。
另外，芯片还包含了两个名为apex2cl的视觉加速引擎。每个apex2cl拥有64个本地计算单元（cu），并配有本地内存和专用dma，通过simd/mimd（单指令多数据/多指令多数据）方式对图像识别过程进行加速。
另外值得指出的是，考虑到adas系统对安全性和可靠性的严苛需求，s32v234在设计时加入了诸如ecc（错误检查与纠正），fccu（故障收集与控制单元），m/l bist（内存/逻辑内置自测）等多种安全机制，能够满足iso26262 asil b~c的需求。
双目视觉adas的优势
相比于单目视觉，双目视觉（stereo vision）的关键区别在于可以利用双摄像头从不同角度对同一目标成像，从而获取视差信息，推算目标距离。具体到视觉adas应用来说，如果采用单目摄像头，为了识别行人和车辆等目标，通常需要大规模的数据采集和训练来完成机器学习算法，并且难以识别不规则物体；而利用毫米波雷达和激光雷达进行测距的精度虽然较高，但是成本和难度亦较高。
双目视觉的最大优势在于维持开发成本较低的前提下，实现一定精度的目标识别和测距，完成fcw（前方碰撞预警）等adas功能。
双目视觉测距的基本原理如图2所示：目标点p在两个相机中的视差为d=ec+df，根据三角形的相似性，推导可得距离z=（fq）/d。其中焦距f和相机光轴距离q可认为是固定参数，所以求出视差信号d即可求得距离z。
双目视觉的测距步骤
相机标定
图像获取
图像预处理
特征提取与立体匹配
三维重构
其中，相机标定是为了得到相机的内外参数和畸变系数等，可以离线进行；而左右相机图像获取的同步性，图像预处理的质量和一致性，以及立体匹配（获取视差信息）和三维重构（获取距离信息）算法的实时性要求带来的巨大运算量，对在嵌入式平台上实现双目视觉adas提出了挑战。
双目视觉adas的应用
s32v234芯片上具有两路mipi-csi2相机接口，每一路最大可提供6gbps的传输速率，可用于左右两路相机的视频输入。由于两路相机分别输入两个mipi通道，需要考虑二者之间的同步问题。在外部图像传感器的配合下，s23v324能够支持不同的同步方式。如图3所示，图像传感器通常具有场同步信号（vsync）和行同步信号（hsync）来进行信号同步：
⊿ 当两路相机工作在主从模式时，由master向slave发送同步信号
⊿ 当两路相机都工作在从模式时，可由s32v234内部定时器产生同步信号，同时发送给两路相机。
在s32v234获取外部相机的图像信号后，可以由内部的isp进行预处理。isp模块包含多个内部处理单元，利用片上sram对输入信号和中间结果进行缓存，并采用专用协处理器来管理isp处理单元的时序，从而实现流水线式的isp处理。内置isp不仅能够节省双路相机的成本，且其运算资源和带宽能够支持对双路高清图像信号的实时处理，保证了双路图像信号的质量和一致性。
双目视觉adsa的解决方案
在双目视觉adas应用中，最大的挑战来自于对两路图像进行立体匹配和三维重构所需要的巨大运算量。以fcw应用为例，既要求视差信号的提取具有足够的精度以保证测距精度，又要求处理帧频维持一定水平以保证预警的响应速度，因此要求嵌入式平台具有足够的处理能力。
s32v234中集成的图像加速引擎apex2的结构如图4所示，其并行计算结构，本地内存和专用dma等设计保证了对图像信号具有极高的处理效率。isp对图像信号预处理完毕后送入ddr，apex2引擎将图像分割后经由专用dma将其送入每个cu对应的本地内存cmem中，而立体匹配所需要的块匹配（block matching）等算法可以在不同的cu中并行处理，处理完毕后的数据经由dma送回ddr，由cpu进行进一步处理（如生成预警信号），或送至专门的dcu（display control unit）模块输出显示。
综上所述，基于s32v234的双目视觉应用数据流如图5所示。在该应用中，数据流按照isp-apex2-dcu的方向流动，a53作为主控cpu完成逻辑控制和必要的数据处理。通过这种流水线式的处理方式，可以使各部分计算资源充分利用。
利用s32v234开发板搭建双目视觉平台，对双路720p@30fps视频信号进行处理，其输出结果如图6所示。其中从左至右的三幅图中目标与相机的距离分别为1m，2m，3m，显示结果以冷暖色调的变化表征目标距离。
结果表明，s32v234能够对双目视觉信号进行实时处理，正确得到三维测距结果，同时辅以芯片的各项安全性设计，可以满足双目视觉adas系统的需求。
总结
恩智浦的视觉adas专用芯片s32v234集成了图像信号处理器isp，图形加速引擎apex2，3d gpu等专用计算单元，通过流水线式的处理架构使各个异构计算资源充分利用。不同计算模块对opencv ，opencl和openvg等多种api的支持增强了算法的可移植性。符合iso26262标准的功能安全设计使得芯片能够满足adas系统对安全性的严苛需求。s32v234支持包括双目视觉在内的多种视觉adas和传感器数据融合解决方案，使得我们在通往无人驾驶的道路上迈出坚实的一步。
A股区块链上市公司概念股盘点整体表现明显低于上市公司
华为全光城市目标网架构,加速构建5G商业正循环
如何鉴别笔记本电脑电池品质优劣？
长江存储32层三维NAND闪存芯片量产提上日程 光谷是希望之地
如何使用脉冲加方向方式对步进电机进行位置的自由控制
恩智浦双目视觉ADAS解决方案
押注向量数据库，为时过早？
超小超薄封装COBP光反射器NJL5901R-2/NJL59
烟道流量计用的高温超声波换能器接收信号是什么样？
众多LED企业携重磅产品亮相2023 ALE展
参考时钟对SERDES性能的影响
票据打印机的打印宽度
什么是 “星闪”？星闪技术架构和特点分析
高压漏电起痕试验机的应用范围以及优势介绍
韩国持续领跑全球5G网络建设
quartus是什么_quartus有什么用
华为发布新一代互联网基础设施解决方案，助力ISP行业绿色数字化
高通历年芯片发展看智能手机领域变迁
稳压器功率的选择 稳压器的选配
新亮智能推出的系列VCSEL芯片产品，无疑是一抹亮色