基于FPGA的MIPICSI-2接口高清摄像头图像采集系统设计和优势
摘要：阐述一种基于fpga的mipicsi-2接口高清摄像头图像采集系统设计，该设计用fpga实现当前应用广泛的mipi高清 ccd采集，并提供lcd屏、usb两路输出，数据传输稳定可靠，把mipi接口摄像头应用到更广泛的其他电路系统中，加快系统开发， 节省成本。
引言 csi（cameraserialinterface)是由mipi（mobileindustryprocessorinterface）联盟下camera工作组制定的接口标准，是mipi联盟发起的为移动应用处理器制定的开放标准，mipi联盟由arm、诺基亚、意法半导体和德州仪器发起成立，作为移动行业领导者的合作组织，mipi联盟旨在确定并推动移动应用处理器接口的开放性标准。csi接口具有接口少、抗emi强、速度快、功耗低等优点。csi-2是mipicsi第二版，csi-2由应用层、协议层、物理层组成，最大支持4通道数据传输，单线传输速度高达1gb/s[1-2]。
系统使用的图像传感器是ov5640， 该ccd分辨率高达5m像素，提供两通道mipi数据传输[3]。系统使用的fpga为xilinx的spartan-6，型号为xc6slx45，该系列的fpga拥有业界领先的系统集成能力，同时为成本敏感型应用带来了低风险、低成本和低功耗的最佳平衡[4-5]。
本文阐述如何在fpga上进行mipicsi-2接口设计，实现高清摄像头数据采集、显示、接口转换，把mipi接口摄像头应用到更广泛的其他电路系统中，加快系统开发，节省成本。
1系统设计原理 mipicsi-2图像采集系统如图1所示，整个系统由ccd图像传感器、fpga、ddr、flash存储器组成。cpu使用sopc，ccd驱动模块、usb驱动模块、lcd驱动模块、ddr管理模块等在fpga内部设计。
ccd图像传感器经光电转换，把采集到的图像经mipi接口传到fpga，fpga解码后把图像存储在ddr，后分两路输出，一路送到lcd显示屏实时显示，另一路转换成usb接口输出。
图1 mipicsi-2图像采集系统框图
2 软硬件设计 2.1硬件设计
mipi接口有低功耗和高速两种工作模式，低功耗模 式下的电平为0～1.2v，可直接接到fpga的i/o口，只需把接口电平配置成lvcoms1.2v，高速模式下的电平标准是slvs，其共模电压为200mv，摆幅为200mvp-p，高速模式下的接口连接需要做一些处理。目前市场上的fpga还没有slvs电压标准的接口，幸运的是spartan-6带有lvds电平接口。由图2可以看出，做为接收端，fpga的lvds接口终端电阻使用外部电阻，其共模电压最低可以达到100mv，而slvs高速模式下的共模电压在200mv左右，在lvds的允许范围内，可用于mipi接收，其io口连接按图3所示的接法设计，解决fpga与mipicsi-2物理层（d-phy）电平匹配问题。
ov5640为两通道mipi数据口，加上时钟信号，fpga端用3对lvds、6个1.2v电平普通io、2个用于i2c控制普通io。
ddr选用的为16位mt46h64m16lfbf，其接口控制模块使用spartan-6自带的mcb硬核设计，mcb可使ddr达到较高速安全运行，并且mcb自带温漂补偿功能，环境适应能力较强。
数据输出部分使用的是标准接口，lcd显示屏接口使用的是24位标准rgb接口，由于fpga内嵌的usb2.0内核价格昂贵，usb传输系统使用了cypress公司的cy7c68013芯片。
图2 slvstolvdssignallevels
图3 fpgad-phy接收接口设计
2.2系统设计
整个系统数据处理、驱动设计、接口管理都在fpga内部设计，fpga设计时使用工具软件xilinx ise designsuite13.4，通过硬件描述语言vhdl编程。系统上电后，fpga自动从flash里加载程序，程序加载完毕由sopc完成各模块参数设置。
ov5640数据位传送方式如图4所示，通道lane1传输偶数位，lane1传输奇数位。fpga解码模块参考图5所示原理设计，串并转换模块使用iserdes2原语设计，双通道串行数据经合并单元转换成并行数据后以帧的形式存储到ddr里。
图4 ov5640数据传输方式
图5 fpga接收数据 处理框图
lcd驱动模块从ddr里读出前一帧数据，然后转换成24位标准rgb数据输出到显示屏全彩显示，同样usb管理模块从ddr里读出数据送给cy7c68013芯片，可配置成isochronous和bulk两种模式输出。
3 实验结果 整个处理系统在单一fpga内部设计，外围电路简单、无干扰、功耗低。mipi摄像头高速模式时与fpga的lvds接口连接，lvds选用外部150ω终端电阻，成功解决了fpga与mipicsi-2物理层电平匹配问题。
经测试，ov5640配置成1080p，以30pfs帧率传送，数据传输安全可靠，系统功率小于0.6w，图6为lcd屏的显示效果。另外，usb输出接口可直接挂接到pc或其它usb接口设备上，用于后级图像数据高级处理，加快系统开发。
图6 lcd屏显示效果图
本设计以较低成本成功在fpga上实现了mipicsi-2摄像头高速图像实时采集、显示、接口转换。
魅蓝s6怎么样 今年最值得入手的千元机之一
打破思维定式——两种键盘扫描方法比较分析
四图维新上半年芯片业务收入2.80亿元 同比增长73.7%
苹果iOS 14.2增加了“年度支出历史记录”选项
调音台中英文对照
基于FPGA的MIPICSI-2接口高清摄像头图像采集系统设计和优势
光衰减器的工作原理和类型及测量衰减器网络特性阻抗的方法概述
纳芯微拟收购模拟芯片商昆腾微67.60%股权
什么是码分多址（CDMA）？
FPGA相对DSP有什么优势以及它们的区别
中软国际与浪潮达成战略合作，共拓企业ERP市场
全球服务机器人需求剧增,前景可观
自动驾驶领域中的CMS系统应用探讨
Linux ALSA声卡驱动之一：ASoC架构中的Codec
机器人板块为何关注点提升了
如何降低数据中心能耗?
智能化薄膜表面缺陷检测设备的原理及优势
什么是频谱分析仪？适用于需要射频测试的应用
二极管和发光二极管
动态自动驾驶数据量身定制的NeRF：NeuRAD
引言 csi（cameraserialinterface)是由mipi（mobileindustryprocessorinterface）联盟下camera工作组制定的接口标准，是mipi联盟发起的为移动应用处理器制定的开放标准，mipi联盟由arm、诺基亚、意法半导体和德州仪器发起成立，作为移动行业领导者的合作组织，mipi联盟旨在确定并推动移动应用处理器接口的开放性标准。csi接口具有接口少、抗emi强、速度快、功耗低等优点。csi-2是mipicsi第二版，csi-2由应用层、协议层、物理层组成，最大支持4通道数据传输，单线传输速度高达1gb/s[1-2]。
系统使用的图像传感器是ov5640， 该ccd分辨率高达5m像素，提供两通道mipi数据传输[3]。系统使用的fpga为xilinx的spartan-6，型号为xc6slx45，该系列的fpga拥有业界领先的系统集成能力，同时为成本敏感型应用带来了低风险、低成本和低功耗的最佳平衡[4-5]。
本文阐述如何在fpga上进行mipicsi-2接口设计，实现高清摄像头数据采集、显示、接口转换，把mipi接口摄像头应用到更广泛的其他电路系统中，加快系统开发，节省成本。
1系统设计原理 mipicsi-2图像采集系统如图1所示，整个系统由ccd图像传感器、fpga、ddr、flash存储器组成。cpu使用sopc，ccd驱动模块、usb驱动模块、lcd驱动模块、ddr管理模块等在fpga内部设计。
ccd图像传感器经光电转换，把采集到的图像经mipi接口传到fpga，fpga解码后把图像存储在ddr，后分两路输出，一路送到lcd显示屏实时显示，另一路转换成usb接口输出。
图1 mipicsi-2图像采集系统框图
2 软硬件设计 2.1硬件设计
mipi接口有低功耗和高速两种工作模式，低功耗模 式下的电平为0～1.2v，可直接接到fpga的i/o口，只需把接口电平配置成lvcoms1.2v，高速模式下的电平标准是slvs，其共模电压为200mv，摆幅为200mvp-p，高速模式下的接口连接需要做一些处理。目前市场上的fpga还没有slvs电压标准的接口，幸运的是spartan-6带有lvds电平接口。由图2可以看出，做为接收端，fpga的lvds接口终端电阻使用外部电阻，其共模电压最低可以达到100mv，而slvs高速模式下的共模电压在200mv左右，在lvds的允许范围内，可用于mipi接收，其io口连接按图3所示的接法设计，解决fpga与mipicsi-2物理层（d-phy）电平匹配问题。
ov5640为两通道mipi数据口，加上时钟信号，fpga端用3对lvds、6个1.2v电平普通io、2个用于i2c控制普通io。
ddr选用的为16位mt46h64m16lfbf，其接口控制模块使用spartan-6自带的mcb硬核设计，mcb可使ddr达到较高速安全运行，并且mcb自带温漂补偿功能，环境适应能力较强。
数据输出部分使用的是标准接口，lcd显示屏接口使用的是24位标准rgb接口，由于fpga内嵌的usb2.0内核价格昂贵，usb传输系统使用了cypress公司的cy7c68013芯片。
图2 slvstolvdssignallevels
图3 fpgad-phy接收接口设计
2.2系统设计
整个系统数据处理、驱动设计、接口管理都在fpga内部设计，fpga设计时使用工具软件xilinx ise designsuite13.4，通过硬件描述语言vhdl编程。系统上电后，fpga自动从flash里加载程序，程序加载完毕由sopc完成各模块参数设置。
ov5640数据位传送方式如图4所示，通道lane1传输偶数位，lane1传输奇数位。fpga解码模块参考图5所示原理设计，串并转换模块使用iserdes2原语设计，双通道串行数据经合并单元转换成并行数据后以帧的形式存储到ddr里。
图4 ov5640数据传输方式
图5 fpga接收数据 处理框图
lcd驱动模块从ddr里读出前一帧数据，然后转换成24位标准rgb数据输出到显示屏全彩显示，同样usb管理模块从ddr里读出数据送给cy7c68013芯片，可配置成isochronous和bulk两种模式输出。
3 实验结果 整个处理系统在单一fpga内部设计，外围电路简单、无干扰、功耗低。mipi摄像头高速模式时与fpga的lvds接口连接，lvds选用外部150ω终端电阻，成功解决了fpga与mipicsi-2物理层电平匹配问题。
经测试，ov5640配置成1080p，以30pfs帧率传送，数据传输安全可靠，系统功率小于0.6w，图6为lcd屏的显示效果。另外，usb输出接口可直接挂接到pc或其它usb接口设备上，用于后级图像数据高级处理，加快系统开发。
图6 lcd屏显示效果图
本设计以较低成本成功在fpga上实现了mipicsi-2摄像头高速图像实时采集、显示、接口转换。
魅蓝s6怎么样 今年最值得入手的千元机之一
打破思维定式——两种键盘扫描方法比较分析
四图维新上半年芯片业务收入2.80亿元 同比增长73.7%
苹果iOS 14.2增加了“年度支出历史记录”选项
调音台中英文对照
基于FPGA的MIPICSI-2接口高清摄像头图像采集系统设计和优势
光衰减器的工作原理和类型及测量衰减器网络特性阻抗的方法概述
纳芯微拟收购模拟芯片商昆腾微67.60%股权
什么是码分多址（CDMA）？
FPGA相对DSP有什么优势以及它们的区别
中软国际与浪潮达成战略合作，共拓企业ERP市场
全球服务机器人需求剧增,前景可观
自动驾驶领域中的CMS系统应用探讨
Linux ALSA声卡驱动之一：ASoC架构中的Codec
机器人板块为何关注点提升了
如何降低数据中心能耗?
智能化薄膜表面缺陷检测设备的原理及优势
什么是频谱分析仪？适用于需要射频测试的应用
二极管和发光二极管
动态自动驾驶数据量身定制的NeRF：NeuRAD