5MP一体化高清机芯——复杂场景监控设计利器
前言
安防监控已经进入了网络高清时代，在这种趋势下，高清机芯的应用将会越来越多、应用领域也会越来越广泛。高清机芯由于有较高的技术门槛，国内能开发的厂家不多，大多用国外品牌。近几年，由于isp（image signal processing）处理芯片的soc化，出现了较多的摄像机套片，可以用来做摄像机和一体化机芯，但套片不够灵活，无法满足复杂场景的监控要求。一体化机芯的发展是往高分辨率、网络化、高倍率的方向在发展，而soc无法及时满足市场的变化。本文采用自主开发的isp和tmpm342电机驱动mcu集合芯片来实现5mp高清机芯的开发。
一体化机芯概述
一体化机芯是指镜头内置、具有变倍且可自动聚焦等功能的摄像机，是光、机、电一体化的高精密设备，它广泛应用于球机、云台等产品中。一体化机芯的工作原理如下：图像光线经过一体机镜头进入图像传感器（sensor），图像传感器成像并输出图像信号进入图像信号处理系统（isp），图像信号处理单元对信号经过彩色插值、白平衡、图像增强等处理，输出标准的图像信号格式。控制部分（mcu）根据isp的聚焦统计判断图像是否清晰进而驱动电机带动镜头变倍聚焦达到输出清晰图像。一体化机芯的基本原理框图如图1。
图1. 一体化机芯原理框图
一体化机芯系统设计
一体化机芯的硬件涉及一体机镜头lens、图像传感器sensor、图像信号处理系统isp、控制部分mcu和驱动部分driver 等5个部分。镜头和图像传感器承担光线收集和成像功能，isp负责图像信号的处理和加工使之输出高质量的图像，控制部分承担变倍和自动聚焦等功能。
本项目是设计一款超低照度的1/1.8”5mp一体化高清机芯。一体机镜头采用业界首款1/1.8”靶面一体机镜头，具有超大的通光孔径。图像传感器采用业界领先的超低照度1/1.8”靶面堆栈式cmos传感器imx178。图像信号处理单元采用自主设计的fpga来实现isp功能，具有灵活高效可实现较复杂功能等特点。控制部分和驱动部分采用mcu和马达驱动mcd集成一体的tmpm342，具有体积小、控制灵活等特点。
系统关键部分设计
一体化机芯是光、机、电一体化的高精密设备，其设计也是一个较为复杂的工程，涉及到的技术有：自动聚焦技术、自动曝光技术、图像处理技术、光学工程技术、嵌入式技术、视频编码技术、网络传输技术等相关技术。
isp部分和控制部分是系统设计的关键部分，isp关系着输出图像质量，控制部分关系着变焦和聚焦性能，使画面快速清晰。
isp的设计与fpga实现
isp（image signal processing）类似人眼的视觉系统（包括视网膜、大脑皮层视觉区域等）对视网膜上的成像进行处理，产生人所感知的视觉效果。isp处理器对sensor输出的原始数据进行处理，得到与人眼视觉效果一致的图像。
isp处理流程大致为：光线经过镜头进入传感器形成图像原始数据（bayer数据），bayer数据进入isp处理单元，通过黑电平校正将信号调整到合适的范围内方便后续处理，经过电平校正后的bayer数据通过色彩插值转换为rgb色块图像信号，rgb图像信号经过白平衡校正、色彩校正、gamma校正等一系列校正处理得到较为正常清晰的图像信号，rgb信号转换为yuv信号后，经过数字降噪、图像增强等一系列处理可得到较为理想的图像视频。因此isp模块包括黑点平校正、坏点校正、色彩插值、白平衡校正、色彩校正、gamma校正、rgb到yuv转换、数字降噪、图像增强处理、视频格式转换等模块。isp原理框图如图2。
图2. isp原理框图
5mp实时数据流对处理器处理带宽和性能有较高的要求，因此isp的实现采用altera的cyclone v系列fpga来完成的。这种方式可以非常灵活的应对各种复杂场景，海康威视的isp经过多年的市场检验，已经得到行业内外客户高度的认可。fpga除了实现了常规的isp模块，还实现了自动聚焦所需要的聚焦统计模块，以及自动曝光的ae模块。
-------
因何而“安”？！解读聪明安防设计，探寻核心技术难点。
马达驱动和自动聚焦控制部分
一体化机芯具有变焦和自动聚焦功能，这部分需要mcu、一体机镜头、马达驱动部分三者配合才能完成的。本项目的马达驱动和mcu采用而者合一的tmpm342芯片。tmpm342是东芝公司一款mcu、mcd（motor control driver）、psc（programmable servo controller）集成在一起的单芯片soc，可以方便的控制电机、光圈，内置arm cortexm3，可以方便灵活的实现更多功能。tmpm342的mcd可以很方便的实现对步进电机、直流电机、电磁线圈的控制，结合mcu和af、ae算法，可以很方便的实现自动聚焦、自动曝光控制。tmpm342中的psc可编程伺服控制可以实现pid算法，利用这个可以实现防抖等功能。由此，可以说tmpm342是常适合用来开发一体化机芯的。本项目就是通过tmpm342来实现对镜头马达、光圈的驱动，并实现自动聚焦、自动曝光控制等功能。tmpm342内部框图及控制示意图如图3。
图3. tmpm342fy内部框图及控制示意图
自动聚焦原理及实现
自动聚焦是一体化机芯中最重要的功能。自己聚焦原理很简单，一般流程如下：先判断图像是否清晰，如果清晰就结束一轮聚焦过程，如果不清晰就开始搜索周围是否有清晰点，直到搜索到清晰点结束一轮聚焦过程。自动聚焦一般采用爬山法，爬山法是向值增加的方向持续移动的简单过程，直到达到峰值为止，周围相邻状态中没有比峰值更高的值。
自动聚焦系统一般由两部分组成，一部分是聚焦清晰度评价函数，这部分由fpga来实现；另一部分是电机驱动及聚焦控制部分，这部分是由tmpm342来实现。自动聚焦实现框图如图4。
图4.自动聚焦实现框图
结束语
本文介绍了一种5mp实时一体化高清机芯的实现方式，采用业界最新的5mp sensor和最新的5mp一体机镜头，由fpga来实现自主设计的isp，通过tmpm342来实现聚焦和变焦电机的驱动，并同时实现自动聚焦和自动曝光和其他机芯功能。这是一种简单灵活、性价比较高的实现方式。
Aruba打造802.11ax系列新品 为物联网插上智能化翅膀
关于KUKAC4机器人测量工具坐标的作用浅析
源创通信 Asterisk E1 语音卡介绍
ToF传感器将取代IR传感器，并应用于脸部识别
解答ps/vr可用在旧款ps4上吗
5MP一体化高清机芯——复杂场景监控设计利器
一文浅谈横河电机工业物联网(IIoT)
华为5G在日美受阻 德国反对将任何供应商排除在5G网络计划之外
工业物联网数据采集系统中NAT网关（网段隔离器）有什么功能
三槽冷热冲击试验箱部件清洁方法
平衡电路,什么是平衡电路
华为3GPP参会代表发文_华为首次在海外推80美元廉价机
用于电力系统保护的过电流继电器的类型
索尼KV-W32MHll型三无电源指示灯不亮
赛睿Arctis寒冰7游戏耳机评测 在一些大型游戏如爆破场景下的临场感十足
Diodes公司PCIe® 3.0数据包交换器，为汽车系统提供更理想的数据信道多功能性
特斯拉能拯救芯片供应商吗？
完成ISA防火墙网络负载均衡地问题转移
新型磁性喷雾问世，可将普通物品编程滚动的机器人
环境监测系统大楼的详细参数介绍
安防监控已经进入了网络高清时代，在这种趋势下，高清机芯的应用将会越来越多、应用领域也会越来越广泛。高清机芯由于有较高的技术门槛，国内能开发的厂家不多，大多用国外品牌。近几年，由于isp（image signal processing）处理芯片的soc化，出现了较多的摄像机套片，可以用来做摄像机和一体化机芯，但套片不够灵活，无法满足复杂场景的监控要求。一体化机芯的发展是往高分辨率、网络化、高倍率的方向在发展，而soc无法及时满足市场的变化。本文采用自主开发的isp和tmpm342电机驱动mcu集合芯片来实现5mp高清机芯的开发。
一体化机芯概述
一体化机芯是指镜头内置、具有变倍且可自动聚焦等功能的摄像机，是光、机、电一体化的高精密设备，它广泛应用于球机、云台等产品中。一体化机芯的工作原理如下：图像光线经过一体机镜头进入图像传感器（sensor），图像传感器成像并输出图像信号进入图像信号处理系统（isp），图像信号处理单元对信号经过彩色插值、白平衡、图像增强等处理，输出标准的图像信号格式。控制部分（mcu）根据isp的聚焦统计判断图像是否清晰进而驱动电机带动镜头变倍聚焦达到输出清晰图像。一体化机芯的基本原理框图如图1。
图1. 一体化机芯原理框图
一体化机芯系统设计
一体化机芯的硬件涉及一体机镜头lens、图像传感器sensor、图像信号处理系统isp、控制部分mcu和驱动部分driver 等5个部分。镜头和图像传感器承担光线收集和成像功能，isp负责图像信号的处理和加工使之输出高质量的图像，控制部分承担变倍和自动聚焦等功能。
本项目是设计一款超低照度的1/1.8”5mp一体化高清机芯。一体机镜头采用业界首款1/1.8”靶面一体机镜头，具有超大的通光孔径。图像传感器采用业界领先的超低照度1/1.8”靶面堆栈式cmos传感器imx178。图像信号处理单元采用自主设计的fpga来实现isp功能，具有灵活高效可实现较复杂功能等特点。控制部分和驱动部分采用mcu和马达驱动mcd集成一体的tmpm342，具有体积小、控制灵活等特点。
系统关键部分设计
一体化机芯是光、机、电一体化的高精密设备，其设计也是一个较为复杂的工程，涉及到的技术有：自动聚焦技术、自动曝光技术、图像处理技术、光学工程技术、嵌入式技术、视频编码技术、网络传输技术等相关技术。
isp部分和控制部分是系统设计的关键部分，isp关系着输出图像质量，控制部分关系着变焦和聚焦性能，使画面快速清晰。
isp的设计与fpga实现
isp（image signal processing）类似人眼的视觉系统（包括视网膜、大脑皮层视觉区域等）对视网膜上的成像进行处理，产生人所感知的视觉效果。isp处理器对sensor输出的原始数据进行处理，得到与人眼视觉效果一致的图像。
isp处理流程大致为：光线经过镜头进入传感器形成图像原始数据（bayer数据），bayer数据进入isp处理单元，通过黑电平校正将信号调整到合适的范围内方便后续处理，经过电平校正后的bayer数据通过色彩插值转换为rgb色块图像信号，rgb图像信号经过白平衡校正、色彩校正、gamma校正等一系列校正处理得到较为正常清晰的图像信号，rgb信号转换为yuv信号后，经过数字降噪、图像增强等一系列处理可得到较为理想的图像视频。因此isp模块包括黑点平校正、坏点校正、色彩插值、白平衡校正、色彩校正、gamma校正、rgb到yuv转换、数字降噪、图像增强处理、视频格式转换等模块。isp原理框图如图2。
图2. isp原理框图
5mp实时数据流对处理器处理带宽和性能有较高的要求，因此isp的实现采用altera的cyclone v系列fpga来完成的。这种方式可以非常灵活的应对各种复杂场景，海康威视的isp经过多年的市场检验，已经得到行业内外客户高度的认可。fpga除了实现了常规的isp模块，还实现了自动聚焦所需要的聚焦统计模块，以及自动曝光的ae模块。
-------
因何而“安”？！解读聪明安防设计，探寻核心技术难点。
马达驱动和自动聚焦控制部分
一体化机芯具有变焦和自动聚焦功能，这部分需要mcu、一体机镜头、马达驱动部分三者配合才能完成的。本项目的马达驱动和mcu采用而者合一的tmpm342芯片。tmpm342是东芝公司一款mcu、mcd（motor control driver）、psc（programmable servo controller）集成在一起的单芯片soc，可以方便的控制电机、光圈，内置arm cortexm3，可以方便灵活的实现更多功能。tmpm342的mcd可以很方便的实现对步进电机、直流电机、电磁线圈的控制，结合mcu和af、ae算法，可以很方便的实现自动聚焦、自动曝光控制。tmpm342中的psc可编程伺服控制可以实现pid算法，利用这个可以实现防抖等功能。由此，可以说tmpm342是常适合用来开发一体化机芯的。本项目就是通过tmpm342来实现对镜头马达、光圈的驱动，并实现自动聚焦、自动曝光控制等功能。tmpm342内部框图及控制示意图如图3。
图3. tmpm342fy内部框图及控制示意图
自动聚焦原理及实现
自动聚焦是一体化机芯中最重要的功能。自己聚焦原理很简单，一般流程如下：先判断图像是否清晰，如果清晰就结束一轮聚焦过程，如果不清晰就开始搜索周围是否有清晰点，直到搜索到清晰点结束一轮聚焦过程。自动聚焦一般采用爬山法，爬山法是向值增加的方向持续移动的简单过程，直到达到峰值为止，周围相邻状态中没有比峰值更高的值。
自动聚焦系统一般由两部分组成，一部分是聚焦清晰度评价函数，这部分由fpga来实现；另一部分是电机驱动及聚焦控制部分，这部分是由tmpm342来实现。自动聚焦实现框图如图4。
图4.自动聚焦实现框图
结束语
本文介绍了一种5mp实时一体化高清机芯的实现方式，采用业界最新的5mp sensor和最新的5mp一体机镜头，由fpga来实现自主设计的isp，通过tmpm342来实现聚焦和变焦电机的驱动，并同时实现自动聚焦和自动曝光和其他机芯功能。这是一种简单灵活、性价比较高的实现方式。
Aruba打造802.11ax系列新品 为物联网插上智能化翅膀
关于KUKAC4机器人测量工具坐标的作用浅析
源创通信 Asterisk E1 语音卡介绍
ToF传感器将取代IR传感器，并应用于脸部识别
解答ps/vr可用在旧款ps4上吗
5MP一体化高清机芯——复杂场景监控设计利器
一文浅谈横河电机工业物联网(IIoT)
华为5G在日美受阻 德国反对将任何供应商排除在5G网络计划之外
工业物联网数据采集系统中NAT网关（网段隔离器）有什么功能
三槽冷热冲击试验箱部件清洁方法
平衡电路,什么是平衡电路
华为3GPP参会代表发文_华为首次在海外推80美元廉价机
用于电力系统保护的过电流继电器的类型
索尼KV-W32MHll型三无电源指示灯不亮
赛睿Arctis寒冰7游戏耳机评测 在一些大型游戏如爆破场景下的临场感十足
Diodes公司PCIe® 3.0数据包交换器，为汽车系统提供更理想的数据信道多功能性
特斯拉能拯救芯片供应商吗？
完成ISA防火墙网络负载均衡地问题转移
新型磁性喷雾问世，可将普通物品编程滚动的机器人
环境监测系统大楼的详细参数介绍