Jacinto摄像头接入与ISP处理
adas的技术使驾乘体验更舒适、更安全、更智能。 ti jacinto tda4vm&dra829处理器是ti最新一代的处理器，以先进的高集成度和多核异构的高性能处理能力，展现了其灵活的处理能力和极具竞争力的成本，为adas技术实现提供了极具竞争力的平台。 在adas的应用中，摄像头作为感知模块，越来越多地摄像头被部署在应用中，感知能力的大小对应用来说至关重要，因此，本文将介绍jacinto7处理器摄像头接入和isp的处理能力。
jacinto7 图像接入
jacinto7 tda4vm/dra829摄像头接入子系统包含了2x mipi csi-2接口 和video processing front end（vpfe），可以支持多个摄像头的接入。
图1 ： ti jacinto7摄像头接入子系统
对于mipi-csi2接口支持情况如下：
2 个 mipi d-phy，带 4 个通道（2.5gbps/通道）
支持8个带反串器集线器的传感器
2x 摄像机适配层 （cal）
– mipi csi2 的协议栈
–支持所有mipi支持的格式
原始/dpcm/yuv
原始 8、10、12、14、16 位
– 伴奏或线性
从 sdram 并发读取像素流
– i/f 端口流量的实时优先级
vpfe输入接口模块用于接收原始图像、视频数据、yuv等数字图像数据。 vpfe支持的功能如下：
支持传统的拜耳模式和foveon传感器格式。
– 为外部定时发生器生成 hd/vd 定时信号和现场 id，或可与外部定时发生器同步
–支持逐行扫描（非隔行）和隔行扫描传感器
– 支持高达 110-mhz 的传感器时钟。
– 支持 rec656/ccir-656 标准（ycbcr 422 格式，8 位或 16 位）。
– 支持 ycbcr 422 格式，8 位或 16 位，带离散 hsync 和 vsync 信号。
– 支持高达 16 位输入。
因此，从图像接入来说，tda4vm/dra829 mipi-csi2的每个接口有10gbps 的带宽，两个mipi-csi2有20gbps的带宽，每个csi2接口支持16个virtual channels，因此两个csi2接口可以支持多达32路摄像头。 evm可以方便展示多达8路2m摄像头的接入。
jacinto7 图像处理
jacinto7集成了视觉预处理加速器vision pre-processing accelerator（vpac）, 提供了常用的图像处理功能，比如颜色处理和增强、噪声过滤、宽动态（wdr）、镜头畸变矫正、图像金字塔、图像缩放等。 基于ti 超过20年在数百万种产品中部署的多个soc系统，ti发布了最新一代的成像系统，即德州仪器第七代isp，并被集成在了jacinto7 tda4vm和dra829处理器。
如图2 vpac系统框图所示，由以下主要模块组成：
视频成像子系统 （viss）
镜头畸变校正 （ldc）
双线性噪声滤波器 （bnf）
多尺度 （msc）
图2 ： ti jacinto7 vpac 系统框图
viss（video imaging subsystem）模块主要处理raw数据并输出rgb或yuv图像。 其包含raw fe（raw front end）、nfs（noise filter）、glbce（global and local brightness contrast enhancement）、fcp(flex color processing)等模块。
ldc（lens distortion correction）主要对图像进行畸变矫正。
msc（multi-scalar）主要功能是对图像进行缩放。
bnf（bilateral noise filtering）双边滤波去除噪声。
tda4vm的vpac的处理能力是720mp/s，因此理论上可以对24m raw摄像头的数据进行处理。
杰辛托7 用例
jacinto7 的用户经常会问tda4vm/dra829能够接几个摄像头，有几个isp，isp能够处理几路摄像头的问题。 通常我们经常使用mipi-csi2接收图像，使用vpac里面viss对raw图像进行处理。 tda4vm/dra829处理器有两个csi-2接口，一个isp， isp可以分时处理多路图像， 其吞吐量如下表所示：
ip max throughput
csi-2*2 10gbits*2
vpac 720 mp/s
psdkra 多摄像头用例 1
jacinto7 sdk支持multi camera use case，其系统框图如图3所示，该demo同时可以接入8个2mp@30fps摄像头，摄像头先通过fpd link串化器ub953，然后通过同轴接入fpd link解串器ub960，最后通过tda4vm mipi-csi2接口接入tda4vm进行图像处理。
该demo可以在evm快速搭建，需要tda4vm evm、fusion board（摄像头接口板）和8个ar0233或imax390摄像头。
图3：tda4vm多摄像头用例1
该use case的利用率如下8*2mp@30fps（raw12）：
ip max throughput utilization utilization（percentage）
csi-2 （port1） 10 gbits 2.88 gbits 28.80%
csi-2 （port2） 10 gbits 2.88 gbits 28.80%
vpac 720 mp/s 480mp/x 66.66%
psdkra 多摄像头用例 2
当前的adas应用中，有4个2mp@30fps摄像头实现全景，1个8mp@30fps实现前视，另外一个摄像头完成dms或后视功能。 一个前视摄像头其系统框图如图4所示：
1 8mppixel@30fps raw12 前置摄像头
1 * 1mppixel@60fps raw12后置/ dms摄像头
4 2mppixel@30fps raw12 环视 （srv） 摄像头
图4：tda4vm多摄像头用例2
该use case的利用率如下：
ip max throughput utilization utilization（percentage）
csi-2 （port1） 10 gbits 3.6 gbits 36%
csi-2 （port2） 10 gbits 2.88 gbits 28.80%
vpac 720 mp/s 540mp/x 75%
psdkra 多摄像头用例 3
在jacinto7里面如果超过8个摄像头应该怎么接呢？ 假如依旧使用tda4vm csi2的两个接口，如果是9个或9个以上的摄像头，需要如何接呢？ fpd link有cascading的功能，如下方案采用fpd link cascading的功能，其系统框图如图6所示：
图6 ： tda4vm多摄像头用例3-2
ip max throughput utilization utilization（percentage）
csi-2 （port1） 10 gbits 2.16 gbits 21.6%
csi-2 （port2） 10 gbits 2.88 gbits 28.80%
vpac 720 mp/s 420mp/x 60%
总结
摄像头的接入和处理能力对用户方案至关重要，因此，本文对jacinto7 tda4vm/dra829处理的摄像头接入和处理能力进行了概述，并使用实际的use case 介绍了摄像头的接入和处理方案，用户可以根据实际应用需求对文中的方案进行修改。 对于其它的jacinto7的处理器，比如tda4vl、tda4al、tda4vmeco、tda4vh、tda4ah等处理器，本文也同样适用，需要注意的是不同处理器的csi和vpac带宽的不同，性能有所差异，因此需要根据带宽进行换算。
自动驾驶OS是否会诞生中国的“博世”？
Xilinx SDAccel 环境：为数据中心带来最佳单位功耗性能
TD-LTE与FDD-LTE的原理与区别简析
曝Verizon计划今年在美国推出全国性的5G无线服务 将与5G版iPhone同步
嵌入式C语言的小技巧能够减少不少代码量
Jacinto摄像头接入与ISP处理
空气能热水器的工作原理
W5100网络接口电子电路设计图 —电路图天天读（160）
三星中国特供旗舰Galaxy C9首现身：5.7寸屏 或搭骁龙652
钜泉光电工业应用级芯片研发中心落户南京
切勿让不良参考信号破坏锁相环/合成器中的相位噪声
如何选择异形插件机设备，挑选时要注意哪些方面
基于S3C4480的μC／GUI操作系统实现嵌入式智能电镦控制系统的设计
从全志看国产芯如何切入物联网市场
硕博电子控制器SPL0602
数据通信需要涉及到的测试仪表介绍
无线测温在线监测系统工作原理与产品选型
8051单片机的历史_8051单片机的应用领域
五种常见的服务器虚拟化技术综述
开空调会影响纯电动汽车的续航里程吗
jacinto7 图像接入
jacinto7 tda4vm/dra829摄像头接入子系统包含了2x mipi csi-2接口 和video processing front end（vpfe），可以支持多个摄像头的接入。
图1 ： ti jacinto7摄像头接入子系统
对于mipi-csi2接口支持情况如下：
2 个 mipi d-phy，带 4 个通道（2.5gbps/通道）
支持8个带反串器集线器的传感器
2x 摄像机适配层 （cal）
– mipi csi2 的协议栈
–支持所有mipi支持的格式
原始/dpcm/yuv
原始 8、10、12、14、16 位
– 伴奏或线性
从 sdram 并发读取像素流
– i/f 端口流量的实时优先级
vpfe输入接口模块用于接收原始图像、视频数据、yuv等数字图像数据。 vpfe支持的功能如下：
支持传统的拜耳模式和foveon传感器格式。
– 为外部定时发生器生成 hd/vd 定时信号和现场 id，或可与外部定时发生器同步
–支持逐行扫描（非隔行）和隔行扫描传感器
– 支持高达 110-mhz 的传感器时钟。
– 支持 rec656/ccir-656 标准（ycbcr 422 格式，8 位或 16 位）。
– 支持 ycbcr 422 格式，8 位或 16 位，带离散 hsync 和 vsync 信号。
– 支持高达 16 位输入。
因此，从图像接入来说，tda4vm/dra829 mipi-csi2的每个接口有10gbps 的带宽，两个mipi-csi2有20gbps的带宽，每个csi2接口支持16个virtual channels，因此两个csi2接口可以支持多达32路摄像头。 evm可以方便展示多达8路2m摄像头的接入。
jacinto7 图像处理
jacinto7集成了视觉预处理加速器vision pre-processing accelerator（vpac）, 提供了常用的图像处理功能，比如颜色处理和增强、噪声过滤、宽动态（wdr）、镜头畸变矫正、图像金字塔、图像缩放等。 基于ti 超过20年在数百万种产品中部署的多个soc系统，ti发布了最新一代的成像系统，即德州仪器第七代isp，并被集成在了jacinto7 tda4vm和dra829处理器。
如图2 vpac系统框图所示，由以下主要模块组成：
视频成像子系统 （viss）
镜头畸变校正 （ldc）
双线性噪声滤波器 （bnf）
多尺度 （msc）
图2 ： ti jacinto7 vpac 系统框图
viss（video imaging subsystem）模块主要处理raw数据并输出rgb或yuv图像。 其包含raw fe（raw front end）、nfs（noise filter）、glbce（global and local brightness contrast enhancement）、fcp(flex color processing)等模块。
ldc（lens distortion correction）主要对图像进行畸变矫正。
msc（multi-scalar）主要功能是对图像进行缩放。
bnf（bilateral noise filtering）双边滤波去除噪声。
tda4vm的vpac的处理能力是720mp/s，因此理论上可以对24m raw摄像头的数据进行处理。
杰辛托7 用例
jacinto7 的用户经常会问tda4vm/dra829能够接几个摄像头，有几个isp，isp能够处理几路摄像头的问题。 通常我们经常使用mipi-csi2接收图像，使用vpac里面viss对raw图像进行处理。 tda4vm/dra829处理器有两个csi-2接口，一个isp， isp可以分时处理多路图像， 其吞吐量如下表所示：
ip max throughput
csi-2*2 10gbits*2
vpac 720 mp/s
psdkra 多摄像头用例 1
jacinto7 sdk支持multi camera use case，其系统框图如图3所示，该demo同时可以接入8个2mp@30fps摄像头，摄像头先通过fpd link串化器ub953，然后通过同轴接入fpd link解串器ub960，最后通过tda4vm mipi-csi2接口接入tda4vm进行图像处理。
该demo可以在evm快速搭建，需要tda4vm evm、fusion board（摄像头接口板）和8个ar0233或imax390摄像头。
图3：tda4vm多摄像头用例1
该use case的利用率如下8*2mp@30fps（raw12）：
ip max throughput utilization utilization（percentage）
csi-2 （port1） 10 gbits 2.88 gbits 28.80%
csi-2 （port2） 10 gbits 2.88 gbits 28.80%
vpac 720 mp/s 480mp/x 66.66%
psdkra 多摄像头用例 2
当前的adas应用中，有4个2mp@30fps摄像头实现全景，1个8mp@30fps实现前视，另外一个摄像头完成dms或后视功能。 一个前视摄像头其系统框图如图4所示：
1 8mppixel@30fps raw12 前置摄像头
1 * 1mppixel@60fps raw12后置/ dms摄像头
4 2mppixel@30fps raw12 环视 （srv） 摄像头
图4：tda4vm多摄像头用例2
该use case的利用率如下：
ip max throughput utilization utilization（percentage）
csi-2 （port1） 10 gbits 3.6 gbits 36%
csi-2 （port2） 10 gbits 2.88 gbits 28.80%
vpac 720 mp/s 540mp/x 75%
psdkra 多摄像头用例 3
在jacinto7里面如果超过8个摄像头应该怎么接呢？ 假如依旧使用tda4vm csi2的两个接口，如果是9个或9个以上的摄像头，需要如何接呢？ fpd link有cascading的功能，如下方案采用fpd link cascading的功能，其系统框图如图6所示：
图6 ： tda4vm多摄像头用例3-2
ip max throughput utilization utilization（percentage）
csi-2 （port1） 10 gbits 2.16 gbits 21.6%
csi-2 （port2） 10 gbits 2.88 gbits 28.80%
vpac 720 mp/s 420mp/x 60%
总结
摄像头的接入和处理能力对用户方案至关重要，因此，本文对jacinto7 tda4vm/dra829处理的摄像头接入和处理能力进行了概述，并使用实际的use case 介绍了摄像头的接入和处理方案，用户可以根据实际应用需求对文中的方案进行修改。 对于其它的jacinto7的处理器，比如tda4vl、tda4al、tda4vmeco、tda4vh、tda4ah等处理器，本文也同样适用，需要注意的是不同处理器的csi和vpac带宽的不同，性能有所差异，因此需要根据带宽进行换算。
自动驾驶OS是否会诞生中国的“博世”？
Xilinx SDAccel 环境：为数据中心带来最佳单位功耗性能
TD-LTE与FDD-LTE的原理与区别简析
曝Verizon计划今年在美国推出全国性的5G无线服务 将与5G版iPhone同步
嵌入式C语言的小技巧能够减少不少代码量
Jacinto摄像头接入与ISP处理
空气能热水器的工作原理
W5100网络接口电子电路设计图 —电路图天天读（160）
三星中国特供旗舰Galaxy C9首现身：5.7寸屏 或搭骁龙652
钜泉光电工业应用级芯片研发中心落户南京
切勿让不良参考信号破坏锁相环/合成器中的相位噪声
如何选择异形插件机设备，挑选时要注意哪些方面
基于S3C4480的μC／GUI操作系统实现嵌入式智能电镦控制系统的设计
从全志看国产芯如何切入物联网市场
硕博电子控制器SPL0602
数据通信需要涉及到的测试仪表介绍
无线测温在线监测系统工作原理与产品选型
8051单片机的历史_8051单片机的应用领域
五种常见的服务器虚拟化技术综述
开空调会影响纯电动汽车的续航里程吗