一文解析CMOS图像传感器的主要指标
cmos图像传感器本质是一块芯片，主要包括：感光区阵列（像素阵列）、时序控制、模拟信号处理以及模数转换等模块。
本文简单总结了cmos图像传感器的主要指标。
resolution （number of pixels）分辨率/像素数量
mp：megapixel，兆像素（百万像素） 常见的有0.3m、1m、2m、5m、13m、20m、40m、100m（1亿像素）等。 像素数量和分辨率是两个密不可分的重要概念，它们的组合方式决定了图像的数据量，同样大小的图像，分辨率越高，包含的像素越多。 像素总数是指所有像素的总和，像素总数是衡量cmos图像传感器的主要技术指标之一。cmos图像传感器的总体像素中被用来进行有效的光电转换并输出图像信号的像素为有效像素。有效像素总数隶属于像素总数集合。有效像素数目直接决定了cmos图像传感器的分辨能力。
上图是sony一款20m cmos图像传感器的像素数量，分别给出了总的像素总数、有效的像素总数。
optical format 光学尺寸
光学尺寸越大，则成像系统的尺寸越大，捕获的光子越多，感光性能越好，信噪比越低。 目前cmos图像传感器的常见尺寸有1、2/3、1/2、1/3、1/4英寸等。
pixel size 像素尺寸
芯片像元阵列上的每个像素的实际物理尺寸，通常的尺寸包括14um、10um、9um、7um、6.45um、3.75um、3.0um、2.0um、1.75um、1.4um、1.2um、1.0um等。 像元尺寸从某种程度上反映了芯片的对光的响应能力，像元尺寸越大，能够接收到的光子数量越多，在同样的光照条件和曝光时间内产生的电荷数量越多。 对于弱光成像而言，像元尺寸是芯片灵敏度的一种表征。
output format 输出格式
（1）raw（或raw rgb） cmos图像传感器输出的原始图像格式是raw。 raw图像就是cmos图像感应器将捕捉到的光源信号转化为数字信号的原始数据。raw文件是一种记录了数码相机传感器的原始信息，同时记录了由相机拍摄所产生的一些原数据（metadata，如iso的设置、快门速度、光圈值、白平衡等）的文件。raw是未经处理、也未经压缩的格式，可以把raw概念化为“原始图像编码数据”或更形象的称为“数字底片”。 （2）rgb 从raw到rgb格式。rgb格式有 rgb565：每个像素用16位表示，rgb分量分别使用5位、6位、5位（常用也就是上说的rgb） rgb555：每个像素用16位表示，rgb分量都使用5位（剩下1位不用） rgb24：每个像素用24位表示，rgb分量各使用8位 rgb32：每个像素用32位表示，rgb分量各使用8位（剩下8位不用） argb32：每个像素用32位表示，rgb分量各使用8位（剩下的8位用于表示alpha通道值）。 （3）yuv yuv三个字母中，其中y表示明亮度（luminance或luma），也就是灰度值；而u和v表示的则是色度（chrominance或chroma），作用是描述影像色彩及饱和度，用于指定像素的颜色。yuv存储格式有两大类：planar（平面格式）和packed（打包格式）。
max frame rate 最大帧率
帧率指的是单位时间所记录或者播放的图片的数量，连续播放一系列图片就会产生动画效果，根据人类的视觉系统，当图片的播放速度大于15幅/秒的时候，人眼就基本看不出来图片的跳跃；在达到24幅/s～30幅/s时就已经基本觉察不到闪烁现象了。 每秒的帧数或者帧率表示cmos图像传感器在处理图像时每秒钟能够更新的次数。高的帧率可以得到更流畅、更逼真的视觉体验。
output interface 输出接口
mipi: 移动行业处理器接口，是mipi联盟发起的为移动应用处理器制定的开放标准。串行数据，速度快，抗干扰，主流输出接口。 lvds：低压差分信号技术接口。 dvp：并口传输，速度较慢，传输的带宽低。 parallel：并行数据，含12位数据信号，行场同步信号和时钟信号。 hispi:高速像素接口，串行数据。 slvs-ec: 由 sony 公司定义，用于高帧率和高分辨率图像采集，它可以将高速串行的数据转化为 dc（digital camera）时序后传递给下一级模块 vicap（video capture）。slvs-ec 串行视频接口可以提供更高的传输带宽，更低的功耗，在组包方式上，数据的冗余度也更低。在应用中 slvs-ec 接口提供了更加可靠和稳定的传输。
cra 主光线角度
从镜头的传感器一侧，可以聚焦到像素上的光线的最大角度被定义为主光角（cra），镜头轴心线附近接近零度，与轴心线的距离越大，角度也随之增大。cra与像素在传感器的位置是相关的。 如果lens的cra小于cmos sensor的cra，一定会有偏色现象。lens的cra一般略大于cmos sensor的cra。 sensitivity 灵敏度 灵敏度是cmos图像传感器的重要参数之一。 它具有两种物理意义，一种是光器件的光电转换能力，与响应率的意义相同，即芯片的灵敏度，指在一定的光谱范围内，单位曝光量的输出信号电压（电流），单位可以为na/lux（纳安/勒克斯）、v/w（伏/瓦）、v/lux（伏/勒克斯）、v/lm（伏/流明）。另一种是指器件所能传感的对地辐射功率（或照度），与探测率的意义相同，单位可用w（瓦）或lux（勒克斯）表示。 sensitivity常作为sensor暗光表现的常用指标。
dynamic range 动态范围
动态范围由cmos图像传感器的信号处理能力和噪声决定，反映了cmos图像传感器的工作范围。
fwc（full-well capacity），光电二极管的电容能够积累的最大电荷量称为满阱容量。 上式主要指的是sensor本身的动态范围，最终成像的动态范围要涉及到isp等处理过程，公式更复杂。
snr 信噪比 噪声是影响cmos传感器性能的首要问题。
snr是用来衡量sensor某一时刻输出的图片质量，并不是表达sensor能力。
噪声包括固定图形噪声fpn（fixed pattern noise）、暗电流噪声、热噪声等。固定图形噪声产生的原因是一束同样的光照射到两个不同的像素上产生的输出信号不完全相同。对付固定图形噪声可以应用双采样或相关双采样技术。 动态范围和信噪比是最容易被误解和误用的参数。动态范围是最大势阱容量和最低读出噪声的比值，它之所以引起误解，是因为读出噪声经常不是在典型的运行速度下测得的，而且暗电流散粒噪声也常常没有被计算在内。 信噪比主要决定于入射光的亮度级（事实上，在亮度很低的情况下，噪声可能比信号还要大）。所以，信噪比应该将所有的噪声源都考虑在内，有些资料中常常忽略散粒噪声，而它恰恰是中、高信号电平的主要噪声来源。
spectral response characteristic光谱响应特性
cmos图像传感器的信号电压vs和信号电流is是入射光波长λ的函数。光谱响应特性就是指cmos图像传感器的响应能力随波长的变化关系,它决定了cmos图像传感器的光谱范围。
chroma 色彩滤波阵列
常见的色彩滤波阵列： rggb：一个红光、一个蓝光、两个绿光滤波器。 每个像素只能感应一种颜色的光，但是当对外输出的时候，需要知道这个像素的rgb值，就只能通过周围像素去计算，这个计算和转换是靠isp去完成的，进而得出这个像素的rgb的值。这样每个像素虽然只感应了一种光，但是每个像素经过处理后传输到外面后就是有rgb的信息了。这些原始的感光数据成为raw data。
rccc：75% 为透射，其余 25% 为只感受红光的滤波器。 rccc 的优点是光灵敏度高，适用于弱光环境。由于 rccc 只有红色光滤波器，因此主要用在对于红色标识敏感的场合，比如交通灯检测。
rccb：50% 为透射，其余红光蓝光滤波器各占 25%。 rccb 的弱光敏感性比 rccc 稍差，但分辨色彩的能力更好，采集的图像既可以用于机器分析，也可以用于人眼观察。
mono：100% 透射。 mono不能分辨色彩。mono 配置的弱光灵敏度最高，仅用于对颜色无识别要求的场合，如驾驶员状态检测等。
rgb nir： 把rggb中的一个g换成了nir。
shutter 快门 global shutter（全局快门）与rollingshutter（卷帘快门）对应全局曝光和卷帘曝光模式。 卷帘快门逐行曝光的方式，全局快门是全部像素同时曝光，所以全局快门能够拍运动的物体而不产生形变，因为全局快门在每一个像素上添加了一个存储单元。 package 封装 csp: 芯片级封装，芯片感光面被一层玻璃保护，csp对灰尘点要求相对低点 sensor表面如果还有灰尘点可以返工修复，制程设备成本较低、制程时间短，但是光线穿透率不佳、价格较贵、高度较高、背光穿透鬼影现象。 cob: 将裸芯片用导电或非导电胶粘附在互连基板上，然后进行引线键合实现其电连接。cob可将镜片、感光芯片、isp以及软板整合在一起，封装测试后可直接交给组装厂，但是制作过程中容易遭受污染，对环境要求较高，制程设备成本较高、良品率变动大、制程时间长，无法维修等。
bga: 球形触点陈列，表面贴装型封装。球柵网格阵列封装. lga: 平面网格阵列封装. pga: 插针网格阵列封装. fan-out：扇出晶圆级封装。 plcc：带引线的塑料芯片载体.表面贴装型封装。
pixel technology 像素技术
fsi（front side illumination）：前照式, 光是从前面的金属控制线之间进入，然后再聚焦在光电检测器上。 bsi（back side illumination）：背照式，光线从背面入射进入感光区，无需穿过金属互连层。
bsi在低照条件下的成像亮度和清晰度都比fsi有更大的优势。 传统的cmos图像传感器是fsi，自上而下分别是透镜层、滤色片层、线路层、感光元件层。采取这个结构时，光线到达感光元件层时必须经过线路层的开口，这里易造成光线损失。 而bsi把感光元件层换到线路层的上面，感光层只保留了感光元件的部分逻辑电路，这样使光线直接的进入感光元件层，减少了光线损失。因此在同一单位时间内，单像素能获取的光能量更大，对画质有明显的提升。不过bsi的芯片生产工艺难度加大，良率下降，成本相对高一点。 堆栈式（stack）：堆栈式是在背照式上的一种改良，是将所有的线路层挪到感光元件的底层，使开口面积得以最大化，同时缩小了芯片的整体面积。对产品小型化有帮助。另外，感光元件周边的逻辑电路移到底部之后，理论上看逻辑电路对感光元件产生的效果影响就更小，电路噪声抑制得以优化，整体效果应该更优。相同像素的堆栈式芯片的物理尺寸是比背照式芯片的要小的。但堆栈式的生产工艺更大，良率更低，成本更高。
quad bayer阵列（四合一像素技术）：就是将四个同色像素排列在一起，形成一个大的像素，
Qt的QApplication不简单！
小米众筹上架了一款摩鱼智能迷你洗衣机：支持高温煮洗，主打智能操作
DEKRA德凯为海尔颁发首个智能家居Smart Home认证
盘点用在iPhone6上曾被苹果鄙视的技术
嵌入式系统电源管理实现对比
一文解析CMOS图像传感器的主要指标
小米运动App 3.0正式发布：更实用 更懂你
ARM发布出最新A76核心，能源效率提升了40%，机器学习性能增强了4倍
AMD或将收购Xilinx_价值可能超过300亿美元
R3131A HP8594E R3131A HP8594E
能够提供77GHz雷达芯片的厂商有哪些？是否有一些国产力量在其中？
用于5GHz以上RF测量的微同轴“尾缆”
都说AI不会打麻将？现在研究来了
3d人脸识别智能锁安全吗
人工智能思维是未来社会的常识 是点燃孩子学习的内在动力
窗口看门狗增强了μP监控器
SystemVerilog-网络
2019中国（深圳）集成电路峰会将于8月22日在深圳举办
三星或采用14nm工艺制造144MP摄像头传感器
智能系统设计 EDA工具面临新挑战
本文简单总结了cmos图像传感器的主要指标。
resolution （number of pixels）分辨率/像素数量
mp：megapixel，兆像素（百万像素） 常见的有0.3m、1m、2m、5m、13m、20m、40m、100m（1亿像素）等。 像素数量和分辨率是两个密不可分的重要概念，它们的组合方式决定了图像的数据量，同样大小的图像，分辨率越高，包含的像素越多。 像素总数是指所有像素的总和，像素总数是衡量cmos图像传感器的主要技术指标之一。cmos图像传感器的总体像素中被用来进行有效的光电转换并输出图像信号的像素为有效像素。有效像素总数隶属于像素总数集合。有效像素数目直接决定了cmos图像传感器的分辨能力。
上图是sony一款20m cmos图像传感器的像素数量，分别给出了总的像素总数、有效的像素总数。
optical format 光学尺寸
光学尺寸越大，则成像系统的尺寸越大，捕获的光子越多，感光性能越好，信噪比越低。 目前cmos图像传感器的常见尺寸有1、2/3、1/2、1/3、1/4英寸等。
pixel size 像素尺寸
芯片像元阵列上的每个像素的实际物理尺寸，通常的尺寸包括14um、10um、9um、7um、6.45um、3.75um、3.0um、2.0um、1.75um、1.4um、1.2um、1.0um等。 像元尺寸从某种程度上反映了芯片的对光的响应能力，像元尺寸越大，能够接收到的光子数量越多，在同样的光照条件和曝光时间内产生的电荷数量越多。 对于弱光成像而言，像元尺寸是芯片灵敏度的一种表征。
output format 输出格式
（1）raw（或raw rgb） cmos图像传感器输出的原始图像格式是raw。 raw图像就是cmos图像感应器将捕捉到的光源信号转化为数字信号的原始数据。raw文件是一种记录了数码相机传感器的原始信息，同时记录了由相机拍摄所产生的一些原数据（metadata，如iso的设置、快门速度、光圈值、白平衡等）的文件。raw是未经处理、也未经压缩的格式，可以把raw概念化为“原始图像编码数据”或更形象的称为“数字底片”。 （2）rgb 从raw到rgb格式。rgb格式有 rgb565：每个像素用16位表示，rgb分量分别使用5位、6位、5位（常用也就是上说的rgb） rgb555：每个像素用16位表示，rgb分量都使用5位（剩下1位不用） rgb24：每个像素用24位表示，rgb分量各使用8位 rgb32：每个像素用32位表示，rgb分量各使用8位（剩下8位不用） argb32：每个像素用32位表示，rgb分量各使用8位（剩下的8位用于表示alpha通道值）。 （3）yuv yuv三个字母中，其中y表示明亮度（luminance或luma），也就是灰度值；而u和v表示的则是色度（chrominance或chroma），作用是描述影像色彩及饱和度，用于指定像素的颜色。yuv存储格式有两大类：planar（平面格式）和packed（打包格式）。
max frame rate 最大帧率
帧率指的是单位时间所记录或者播放的图片的数量，连续播放一系列图片就会产生动画效果，根据人类的视觉系统，当图片的播放速度大于15幅/秒的时候，人眼就基本看不出来图片的跳跃；在达到24幅/s～30幅/s时就已经基本觉察不到闪烁现象了。 每秒的帧数或者帧率表示cmos图像传感器在处理图像时每秒钟能够更新的次数。高的帧率可以得到更流畅、更逼真的视觉体验。
output interface 输出接口
mipi: 移动行业处理器接口，是mipi联盟发起的为移动应用处理器制定的开放标准。串行数据，速度快，抗干扰，主流输出接口。 lvds：低压差分信号技术接口。 dvp：并口传输，速度较慢，传输的带宽低。 parallel：并行数据，含12位数据信号，行场同步信号和时钟信号。 hispi:高速像素接口，串行数据。 slvs-ec: 由 sony 公司定义，用于高帧率和高分辨率图像采集，它可以将高速串行的数据转化为 dc（digital camera）时序后传递给下一级模块 vicap（video capture）。slvs-ec 串行视频接口可以提供更高的传输带宽，更低的功耗，在组包方式上，数据的冗余度也更低。在应用中 slvs-ec 接口提供了更加可靠和稳定的传输。
cra 主光线角度
从镜头的传感器一侧，可以聚焦到像素上的光线的最大角度被定义为主光角（cra），镜头轴心线附近接近零度，与轴心线的距离越大，角度也随之增大。cra与像素在传感器的位置是相关的。 如果lens的cra小于cmos sensor的cra，一定会有偏色现象。lens的cra一般略大于cmos sensor的cra。 sensitivity 灵敏度 灵敏度是cmos图像传感器的重要参数之一。 它具有两种物理意义，一种是光器件的光电转换能力，与响应率的意义相同，即芯片的灵敏度，指在一定的光谱范围内，单位曝光量的输出信号电压（电流），单位可以为na/lux（纳安/勒克斯）、v/w（伏/瓦）、v/lux（伏/勒克斯）、v/lm（伏/流明）。另一种是指器件所能传感的对地辐射功率（或照度），与探测率的意义相同，单位可用w（瓦）或lux（勒克斯）表示。 sensitivity常作为sensor暗光表现的常用指标。
dynamic range 动态范围
动态范围由cmos图像传感器的信号处理能力和噪声决定，反映了cmos图像传感器的工作范围。
fwc（full-well capacity），光电二极管的电容能够积累的最大电荷量称为满阱容量。 上式主要指的是sensor本身的动态范围，最终成像的动态范围要涉及到isp等处理过程，公式更复杂。
snr 信噪比 噪声是影响cmos传感器性能的首要问题。
snr是用来衡量sensor某一时刻输出的图片质量，并不是表达sensor能力。
噪声包括固定图形噪声fpn（fixed pattern noise）、暗电流噪声、热噪声等。固定图形噪声产生的原因是一束同样的光照射到两个不同的像素上产生的输出信号不完全相同。对付固定图形噪声可以应用双采样或相关双采样技术。 动态范围和信噪比是最容易被误解和误用的参数。动态范围是最大势阱容量和最低读出噪声的比值，它之所以引起误解，是因为读出噪声经常不是在典型的运行速度下测得的，而且暗电流散粒噪声也常常没有被计算在内。 信噪比主要决定于入射光的亮度级（事实上，在亮度很低的情况下，噪声可能比信号还要大）。所以，信噪比应该将所有的噪声源都考虑在内，有些资料中常常忽略散粒噪声，而它恰恰是中、高信号电平的主要噪声来源。
spectral response characteristic光谱响应特性
cmos图像传感器的信号电压vs和信号电流is是入射光波长λ的函数。光谱响应特性就是指cmos图像传感器的响应能力随波长的变化关系,它决定了cmos图像传感器的光谱范围。
chroma 色彩滤波阵列
常见的色彩滤波阵列： rggb：一个红光、一个蓝光、两个绿光滤波器。 每个像素只能感应一种颜色的光，但是当对外输出的时候，需要知道这个像素的rgb值，就只能通过周围像素去计算，这个计算和转换是靠isp去完成的，进而得出这个像素的rgb的值。这样每个像素虽然只感应了一种光，但是每个像素经过处理后传输到外面后就是有rgb的信息了。这些原始的感光数据成为raw data。
rccc：75% 为透射，其余 25% 为只感受红光的滤波器。 rccc 的优点是光灵敏度高，适用于弱光环境。由于 rccc 只有红色光滤波器，因此主要用在对于红色标识敏感的场合，比如交通灯检测。
rccb：50% 为透射，其余红光蓝光滤波器各占 25%。 rccb 的弱光敏感性比 rccc 稍差，但分辨色彩的能力更好，采集的图像既可以用于机器分析，也可以用于人眼观察。
mono：100% 透射。 mono不能分辨色彩。mono 配置的弱光灵敏度最高，仅用于对颜色无识别要求的场合，如驾驶员状态检测等。
rgb nir： 把rggb中的一个g换成了nir。
shutter 快门 global shutter（全局快门）与rollingshutter（卷帘快门）对应全局曝光和卷帘曝光模式。 卷帘快门逐行曝光的方式，全局快门是全部像素同时曝光，所以全局快门能够拍运动的物体而不产生形变，因为全局快门在每一个像素上添加了一个存储单元。 package 封装 csp: 芯片级封装，芯片感光面被一层玻璃保护，csp对灰尘点要求相对低点 sensor表面如果还有灰尘点可以返工修复，制程设备成本较低、制程时间短，但是光线穿透率不佳、价格较贵、高度较高、背光穿透鬼影现象。 cob: 将裸芯片用导电或非导电胶粘附在互连基板上，然后进行引线键合实现其电连接。cob可将镜片、感光芯片、isp以及软板整合在一起，封装测试后可直接交给组装厂，但是制作过程中容易遭受污染，对环境要求较高，制程设备成本较高、良品率变动大、制程时间长，无法维修等。
bga: 球形触点陈列，表面贴装型封装。球柵网格阵列封装. lga: 平面网格阵列封装. pga: 插针网格阵列封装. fan-out：扇出晶圆级封装。 plcc：带引线的塑料芯片载体.表面贴装型封装。
pixel technology 像素技术
fsi（front side illumination）：前照式, 光是从前面的金属控制线之间进入，然后再聚焦在光电检测器上。 bsi（back side illumination）：背照式，光线从背面入射进入感光区，无需穿过金属互连层。
bsi在低照条件下的成像亮度和清晰度都比fsi有更大的优势。 传统的cmos图像传感器是fsi，自上而下分别是透镜层、滤色片层、线路层、感光元件层。采取这个结构时，光线到达感光元件层时必须经过线路层的开口，这里易造成光线损失。 而bsi把感光元件层换到线路层的上面，感光层只保留了感光元件的部分逻辑电路，这样使光线直接的进入感光元件层，减少了光线损失。因此在同一单位时间内，单像素能获取的光能量更大，对画质有明显的提升。不过bsi的芯片生产工艺难度加大，良率下降，成本相对高一点。 堆栈式（stack）：堆栈式是在背照式上的一种改良，是将所有的线路层挪到感光元件的底层，使开口面积得以最大化，同时缩小了芯片的整体面积。对产品小型化有帮助。另外，感光元件周边的逻辑电路移到底部之后，理论上看逻辑电路对感光元件产生的效果影响就更小，电路噪声抑制得以优化，整体效果应该更优。相同像素的堆栈式芯片的物理尺寸是比背照式芯片的要小的。但堆栈式的生产工艺更大，良率更低，成本更高。
quad bayer阵列（四合一像素技术）：就是将四个同色像素排列在一起，形成一个大的像素，
Qt的QApplication不简单！
小米众筹上架了一款摩鱼智能迷你洗衣机：支持高温煮洗，主打智能操作
DEKRA德凯为海尔颁发首个智能家居Smart Home认证
盘点用在iPhone6上曾被苹果鄙视的技术
嵌入式系统电源管理实现对比
一文解析CMOS图像传感器的主要指标
小米运动App 3.0正式发布：更实用 更懂你
ARM发布出最新A76核心，能源效率提升了40%，机器学习性能增强了4倍
AMD或将收购Xilinx_价值可能超过300亿美元
R3131A HP8594E R3131A HP8594E
能够提供77GHz雷达芯片的厂商有哪些？是否有一些国产力量在其中？
用于5GHz以上RF测量的微同轴“尾缆”
都说AI不会打麻将？现在研究来了
3d人脸识别智能锁安全吗
人工智能思维是未来社会的常识 是点燃孩子学习的内在动力
窗口看门狗增强了μP监控器
SystemVerilog-网络
2019中国（深圳）集成电路峰会将于8月22日在深圳举办
三星或采用14nm工艺制造144MP摄像头传感器
智能系统设计 EDA工具面临新挑战