走进3D视觉系列（六）：新兴应用驱动下的图像传感器
走进3d视觉系列（六）：新兴应用驱动下的图像传感器
2017-07-08 21:24:44来源：麦姆斯咨询评论：点击： 图像传感器，或称感光元件，是一种将光学图像转换成电子信号的器件，它犹如人类的眼睛一样，感受着大自然的绚丽多姿。图像传感器是组成数字摄像头的重要组成部分，广泛应用于智能手机、数码相机和其它电子光学设备中。
3d视觉系统的“眼睛”
图像传感器，或称感光元件，是一种将光学图像转换成电子信号的器件，它犹如人类的眼睛一样，感受着大自然的绚丽多姿。图像传感器是组成数字摄像头的重要组成部分，广泛应用于智能手机、数码相机和其它电子光学设备中。
图像传感器
在基于结构光和飞行时间（tof）原理的3d视觉系统中，近红外图像传感器能够感受近红外光，将近红外光信息处理为物体的深度位置（z轴）；同时，可见光图像传感器采集物体的二维平面（x与y轴）可见光信息（vis light）；图像传感器的信息汇总至专用的图像处理芯片，从而得到物体的三维数据，实现空间定位。两个图像传感器构成了3d视觉系统的“眼睛”，捕捉外界环境信息；图像处理芯片和存储器构成了3d视觉系统的“大脑”，进行信息的处理和存储。
图像传感器的图像信息采集过程
移动市场是图像传感器产业的主要应用领域，尽管手机数量接近饱和，但是由于3d摄像头的出现，激光雷达、自动驾驶、无人机拍摄、生物特征识别、增强现实（ar）等新兴应用的需求，图像传感器的市场仍将继续保持稳定的增长势头。
洞悉图像传感器原理
根据元件的不同，图像传感器通常可分为ccd（charge-coupled device，电荷耦合器件）和cmos（complementary metal-oxide semiconductor，互补型金属氧化物半导体器件）两大类。
20世纪70年代，ccd图像传感器和cmos图像传感器同时起步。ccd图像传感器由于灵敏度高、噪声低，逐步成为图像传感器的主流。但由于工艺上的原因，敏感元件和信号处理电路不能集成在同一芯片上，造成由ccd图像传感器组装的摄像机体积大、功耗大。cmos图像传感器以其体积小、功耗低在图像传感器市场上独树一帜。最初市场上的cmos图像传感器，一直没有摆脱光照灵敏度低和图像分辨率低的缺点，图像质量还无法与ccd图像传感器相比。但是，近年来由于cmos成像技术不断提升、生产成本不断降低，智能手机广泛采用cmos图像传感器，使得ccd图像传感器在市场的占有率从2010年起不断下降。图像传感器巨头索尼更是宣布将于2017年停产ccd图像传感器。
1. ccd
早在1969年，美国贝尔实验室的维拉•波义耳（willard s. boyle）和乔治•史密斯（george e. smith）发明了ccd，ccd一度作为传统胶片的取代物，引领潮流。ccd的基本功能是电荷的存储和电荷的转移。
构成ccd的基本单位是mos电容器，类似于mos晶体管结构，和其它电容器一样，mos电容器能够储存电荷。当器件受到光照时（光可从各电极的缝隙间经过sio2层射入，或经衬底的薄p型硅射入），光子的能量被半导体吸收，产生电子-空穴对，电子被吸引存贮在势阱中，这些电子是可以传导的。光越强，势阱中收集的电子越多，光弱则反之，这样就把光的强弱变成电荷的数量，实现了光与电的转换，而势阱中收集的电子处于存贮状态，即使停止光照一定时间内也不会损失，这就实现了对光照的记忆。这是电荷的储存过程。
若ccd的基本单位mos电容器之间排列足够紧密，那么mos电容的势阱相互耦合，慢慢电荷就可以发生转移了。上述结构实质上是个微小的mos电容，用它构成像素，既可“感光”又可留下“潜影”，感光作用是靠光强产生的电子电荷积累，潜影是各个像素留在各个电容里的电荷不等而形成的。若能设法把各个电容里的电荷依次传送到输出端，再组成行和帧并经过“显影”就实现了图像的传递，最终呈现出一幅完整的画面。
ccd的结构和工作原理（以p型硅为例）
ccd具有技术成熟、成像质量高、灵敏度高、噪声低、动态范围大、响应速度快、图像畸变小等优势。但是，如果想要得到像素高的图片，需要增加像素数也就是ccd上感光元件的数量，这就带了制造成本增加和成品率下降等一系列问题。因此，cmos图像传感器则应运而生。
2. cmos
cmos图像传感器（cmos image sensor，简称 cis）。cmos图像传感器在问世初期成本很高，但随着大规模集成电路的迅速发展，量产能力提升，成本降低。相比ccd，cmos图像传感器功耗更低，集成度高，读取电路简单，读取速度快。虽然某些成像指标差于ccd，但随着工艺的改进，cis的应用范围逐步扩大。特别是3d摄像头的出现，cmos图像传感器市场仍能实现2016~2022年10.5%的复合年增长率（cagr）。摄像头从2d转变为3d，驱动着cmos图像传感器产业发生变化，从成像质量到人机交互。新兴应用，如无人机拍摄、生物特征识别、增强现实（ar）等，也是cmos图像传感器的潜在用户。
cmos图像传感器的应用趋势
cmos图像传感器由微透镜、颜色滤镜、金属电路、光电二极管、硅场效应晶体管所构成。可以看到颜色滤镜的红、绿、蓝的比例为1:2:1，绿色的比例高于其他两种颜色，这是因为人眼对绿色最敏感，这样可以模拟人眼的视觉感受。光源经由颜色滤镜照射光电二极管，在光电二极管内产生电子-空穴对。将电子-空穴对分离，并经硅场效应晶体管放大信号送至数据线，最后经图像处理芯片处理后输出影像。
cmos图像传感器结构示意图
前照式（front-illuminated structure，fsi）曾经为cmos图像传感器所采用的主流技术，具有大批量生产能力、高可靠性和高良率以及颇具吸引力的性价比等优势。从工作原理来讲，光是从前面的金属电路进入，然后再聚焦在光电二极管上。对于较大的像素，fsi都十分有效，因为像素堆叠（pixel stack）高度与像素面积之比很大，致使像素的孔径也很大。日益缩小的像素需要一系列像素技术创新来解决fsi技术在材料和制造方面的局限性。
背照式（back-illuminated structure，bsi）是如今的技术趋势。采用bsi构建像素，光线无需穿过金属互连层。bsi的第一步是汇聚进入光电二极管光学区域的入射光，其光学要求与fsi相同，不过现在微透镜的位置更接近光电二极管，需要淀积更厚的微透镜材料层，以获得更短的焦距。
fsi、bsi和3d堆叠式bsi器件结构对比
而由索尼首创的堆叠式bsi技术正在改变竞争格局和市场状态。堆叠bsi图像传感器分层堆叠像素，包括片上背照式结构像素的形成，芯片包括用于信号处理的电路，将代替用于传统背照式cmos图像传感器的支撑衬底。该种图像传感器还能集成更多功能，如自动对焦（af）和光学防抖（ois）。除了获得更佳画质与先进功能，“堆叠式结构”的使用还帮助索尼实现更为紧凑的产品尺寸。
日韩称霸，多数厂商齐成长
最近几年，麦姆斯咨询携手yole定期发布图像传感器及3d摄像头新闻动态，每年也都出版产业研究报告，《cmos图像传感器产业现状-2017版》和《3d成像和传感-2017版》报告已于近期发布，欢迎咨询购买。
在2016年，cmos图像传感器产业领导者索尼独占42%的市场份额，而三星获得18%的市场份额。尽管东芝（toshiba）表现不佳，退出市场，但是去年三分之二的厂商都有所增长。三星（samsung）、豪威科技（omnivision）、松下（panasonic）都实现了同比增长15%的优秀业绩。这些“大玩家”的发展，彰显出亚洲厂商在cmos图像传感器产业中的重要地位。意法半导体（stmicroelectronics）通过开发3d飞行时间（tof）器件来重启cmos图像传感器业务。这些器件可以实现从“接近感测”到“距离测量”，再到“3d成像”。如果意法半导体在苹果iphone 8中的应用传闻最终成真，那么这将可能成为2017年最大的cmos图像传感器事件。
2016年cmos图像传感器厂商的市场份额情况
随着3d视觉的兴起，用于测量景深的近红外图像传感器受到追捧，多家厂商已经推出新款成像产品。索尼（sony）/softkinetic一直在上述领域展开深入研究，为消费类、汽车类、工业类领域的图像传感器厂商提供独特的像元技术（pixel technology）。对于工业类应用，索尼（sony）/softkinetic将其技术授权给德州仪器（ti）；对于汽车类应用，索尼（sony）/softkinetic则将其技术授权给迈来芯（melexis）。其它领先厂商还包括瑷镨瑞思（espros）、英飞凌（infineon）/ pmd等。当然，中国厂商也在蓄力储备，如艾普柯（epticore）、思比科（superpix）等。
瑷镨瑞思通过其独有的工艺技术，使得背照式ccd/cmos工艺相融合，可在非常宽的光频谱范围内达到很高的光电效应，进而实现具有更高性能的光学传感器；其图像传感器非常适用于超快速图像采集，高灵敏度tof 3d相机和tdi相机，以及基于硅的广域光谱传感器。艾普柯是国内一家直接做tof和vcsel二合一的深度传感器公司。在2017年9月11日由麦姆斯咨询主办的‘“微言大义”研讨会：3d摄像头技术及应用’上，瑷镨瑞思和艾普柯将就其公司的创新产品、技术和应用发表演讲，欢迎报名参加获取更多的讯息！
推荐会议：
2017年9月11日，由麦姆斯咨询主办的‘“微言大义”研讨会：3d摄像头技术及应用’将在上海隆重举行（同期展会：2017年中国（上海）传感器技术与应用展览会）。本次研讨会内容涉及3d摄像头应用及市场分析、3d摄像头原理及技术路线、3d摄像头模组剖析及算法解析等。已邀请英特尔、viavi solutions、瑷镨锐思（espros）、炬佑智能、图漾科技、西安知微传感、艾普柯等企业进行演讲，如果贵司希望参加演讲或展会，请联系：
联系人：王懿
邮箱：wangyi@memsconsulting.com
电话：18217468860
研讨会报名具体信息和报名路径请参考：
延伸阅读：
《走进3d视觉系列（一）：3d摄像头已来，产业链布局初成》
《走进3d视觉系列（二）：3d视觉应用方案详解》
《走进3d视觉系列（三）：正在崛起的蓝海——3d摄像头模组》
《走进3d视觉系列（四）：红外光源格局改变在即》
《走进3d视觉系列（五）：且难且前行的“mems微镜”》
《3d成像和传感-2017版》
《cmos图像传感器产业现状-2017版》
《英特尔realsense 3d摄像头与意法半导体红外激光发射器》
北斗模块的作用及该如何进行使用
欧洲将晋级上汽首个“20万辆级”海外区域市场
VR设备市场爆发将带动催生19个应用市场
是德科技N6785A源表模块上报OV维修
手机界中的“高端黑”黑的高贵，黑的漂亮：vivo Xplay6、三星S7 edge、OPPO R9S、iPhone7
走进3D视觉系列（六）：新兴应用驱动下的图像传感器
Python序列的字典类型介绍
低配位Au催化剂上钾助剂对水煤气变换反应促进作用的理论研究
集成VGA辅助可以精确增益控制
蓄电池在线监测系统的应用方案
智能手机需求大幅下降 芯片、MEMS及传感器业务遭受重大冲击
国内医疗保健升级 引领医疗器械产业新热潮
PCB会过期？PCB过期后先烘烤？
一定要用华为鸿蒙系统的思维来重视楼宇数字化
AI大数据为网络安全保驾护航
基于SDSoC开发流程环境应用的详解以及其优势
2018年度全球半导体设备厂商Top15发布,中国占一席
区块链可以在三个方面起到安全强化作用
论音响线材
索尼将为苹果提供OLED微显示屏,用于AR/VR眼镜设备
2017-07-08 21:24:44来源：麦姆斯咨询评论：点击： 图像传感器，或称感光元件，是一种将光学图像转换成电子信号的器件，它犹如人类的眼睛一样，感受着大自然的绚丽多姿。图像传感器是组成数字摄像头的重要组成部分，广泛应用于智能手机、数码相机和其它电子光学设备中。
3d视觉系统的“眼睛”
图像传感器，或称感光元件，是一种将光学图像转换成电子信号的器件，它犹如人类的眼睛一样，感受着大自然的绚丽多姿。图像传感器是组成数字摄像头的重要组成部分，广泛应用于智能手机、数码相机和其它电子光学设备中。
图像传感器
在基于结构光和飞行时间（tof）原理的3d视觉系统中，近红外图像传感器能够感受近红外光，将近红外光信息处理为物体的深度位置（z轴）；同时，可见光图像传感器采集物体的二维平面（x与y轴）可见光信息（vis light）；图像传感器的信息汇总至专用的图像处理芯片，从而得到物体的三维数据，实现空间定位。两个图像传感器构成了3d视觉系统的“眼睛”，捕捉外界环境信息；图像处理芯片和存储器构成了3d视觉系统的“大脑”，进行信息的处理和存储。
图像传感器的图像信息采集过程
移动市场是图像传感器产业的主要应用领域，尽管手机数量接近饱和，但是由于3d摄像头的出现，激光雷达、自动驾驶、无人机拍摄、生物特征识别、增强现实（ar）等新兴应用的需求，图像传感器的市场仍将继续保持稳定的增长势头。
洞悉图像传感器原理
根据元件的不同，图像传感器通常可分为ccd（charge-coupled device，电荷耦合器件）和cmos（complementary metal-oxide semiconductor，互补型金属氧化物半导体器件）两大类。
20世纪70年代，ccd图像传感器和cmos图像传感器同时起步。ccd图像传感器由于灵敏度高、噪声低，逐步成为图像传感器的主流。但由于工艺上的原因，敏感元件和信号处理电路不能集成在同一芯片上，造成由ccd图像传感器组装的摄像机体积大、功耗大。cmos图像传感器以其体积小、功耗低在图像传感器市场上独树一帜。最初市场上的cmos图像传感器，一直没有摆脱光照灵敏度低和图像分辨率低的缺点，图像质量还无法与ccd图像传感器相比。但是，近年来由于cmos成像技术不断提升、生产成本不断降低，智能手机广泛采用cmos图像传感器，使得ccd图像传感器在市场的占有率从2010年起不断下降。图像传感器巨头索尼更是宣布将于2017年停产ccd图像传感器。
1. ccd
早在1969年，美国贝尔实验室的维拉•波义耳（willard s. boyle）和乔治•史密斯（george e. smith）发明了ccd，ccd一度作为传统胶片的取代物，引领潮流。ccd的基本功能是电荷的存储和电荷的转移。
构成ccd的基本单位是mos电容器，类似于mos晶体管结构，和其它电容器一样，mos电容器能够储存电荷。当器件受到光照时（光可从各电极的缝隙间经过sio2层射入，或经衬底的薄p型硅射入），光子的能量被半导体吸收，产生电子-空穴对，电子被吸引存贮在势阱中，这些电子是可以传导的。光越强，势阱中收集的电子越多，光弱则反之，这样就把光的强弱变成电荷的数量，实现了光与电的转换，而势阱中收集的电子处于存贮状态，即使停止光照一定时间内也不会损失，这就实现了对光照的记忆。这是电荷的储存过程。
若ccd的基本单位mos电容器之间排列足够紧密，那么mos电容的势阱相互耦合，慢慢电荷就可以发生转移了。上述结构实质上是个微小的mos电容，用它构成像素，既可“感光”又可留下“潜影”，感光作用是靠光强产生的电子电荷积累，潜影是各个像素留在各个电容里的电荷不等而形成的。若能设法把各个电容里的电荷依次传送到输出端，再组成行和帧并经过“显影”就实现了图像的传递，最终呈现出一幅完整的画面。
ccd的结构和工作原理（以p型硅为例）
ccd具有技术成熟、成像质量高、灵敏度高、噪声低、动态范围大、响应速度快、图像畸变小等优势。但是，如果想要得到像素高的图片，需要增加像素数也就是ccd上感光元件的数量，这就带了制造成本增加和成品率下降等一系列问题。因此，cmos图像传感器则应运而生。
2. cmos
cmos图像传感器（cmos image sensor，简称 cis）。cmos图像传感器在问世初期成本很高，但随着大规模集成电路的迅速发展，量产能力提升，成本降低。相比ccd，cmos图像传感器功耗更低，集成度高，读取电路简单，读取速度快。虽然某些成像指标差于ccd，但随着工艺的改进，cis的应用范围逐步扩大。特别是3d摄像头的出现，cmos图像传感器市场仍能实现2016~2022年10.5%的复合年增长率（cagr）。摄像头从2d转变为3d，驱动着cmos图像传感器产业发生变化，从成像质量到人机交互。新兴应用，如无人机拍摄、生物特征识别、增强现实（ar）等，也是cmos图像传感器的潜在用户。
cmos图像传感器的应用趋势
cmos图像传感器由微透镜、颜色滤镜、金属电路、光电二极管、硅场效应晶体管所构成。可以看到颜色滤镜的红、绿、蓝的比例为1:2:1，绿色的比例高于其他两种颜色，这是因为人眼对绿色最敏感，这样可以模拟人眼的视觉感受。光源经由颜色滤镜照射光电二极管，在光电二极管内产生电子-空穴对。将电子-空穴对分离，并经硅场效应晶体管放大信号送至数据线，最后经图像处理芯片处理后输出影像。
cmos图像传感器结构示意图
前照式（front-illuminated structure，fsi）曾经为cmos图像传感器所采用的主流技术，具有大批量生产能力、高可靠性和高良率以及颇具吸引力的性价比等优势。从工作原理来讲，光是从前面的金属电路进入，然后再聚焦在光电二极管上。对于较大的像素，fsi都十分有效，因为像素堆叠（pixel stack）高度与像素面积之比很大，致使像素的孔径也很大。日益缩小的像素需要一系列像素技术创新来解决fsi技术在材料和制造方面的局限性。
背照式（back-illuminated structure，bsi）是如今的技术趋势。采用bsi构建像素，光线无需穿过金属互连层。bsi的第一步是汇聚进入光电二极管光学区域的入射光，其光学要求与fsi相同，不过现在微透镜的位置更接近光电二极管，需要淀积更厚的微透镜材料层，以获得更短的焦距。
fsi、bsi和3d堆叠式bsi器件结构对比
而由索尼首创的堆叠式bsi技术正在改变竞争格局和市场状态。堆叠bsi图像传感器分层堆叠像素，包括片上背照式结构像素的形成，芯片包括用于信号处理的电路，将代替用于传统背照式cmos图像传感器的支撑衬底。该种图像传感器还能集成更多功能，如自动对焦（af）和光学防抖（ois）。除了获得更佳画质与先进功能，“堆叠式结构”的使用还帮助索尼实现更为紧凑的产品尺寸。
日韩称霸，多数厂商齐成长
最近几年，麦姆斯咨询携手yole定期发布图像传感器及3d摄像头新闻动态，每年也都出版产业研究报告，《cmos图像传感器产业现状-2017版》和《3d成像和传感-2017版》报告已于近期发布，欢迎咨询购买。
在2016年，cmos图像传感器产业领导者索尼独占42%的市场份额，而三星获得18%的市场份额。尽管东芝（toshiba）表现不佳，退出市场，但是去年三分之二的厂商都有所增长。三星（samsung）、豪威科技（omnivision）、松下（panasonic）都实现了同比增长15%的优秀业绩。这些“大玩家”的发展，彰显出亚洲厂商在cmos图像传感器产业中的重要地位。意法半导体（stmicroelectronics）通过开发3d飞行时间（tof）器件来重启cmos图像传感器业务。这些器件可以实现从“接近感测”到“距离测量”，再到“3d成像”。如果意法半导体在苹果iphone 8中的应用传闻最终成真，那么这将可能成为2017年最大的cmos图像传感器事件。
2016年cmos图像传感器厂商的市场份额情况
随着3d视觉的兴起，用于测量景深的近红外图像传感器受到追捧，多家厂商已经推出新款成像产品。索尼（sony）/softkinetic一直在上述领域展开深入研究，为消费类、汽车类、工业类领域的图像传感器厂商提供独特的像元技术（pixel technology）。对于工业类应用，索尼（sony）/softkinetic将其技术授权给德州仪器（ti）；对于汽车类应用，索尼（sony）/softkinetic则将其技术授权给迈来芯（melexis）。其它领先厂商还包括瑷镨瑞思（espros）、英飞凌（infineon）/ pmd等。当然，中国厂商也在蓄力储备，如艾普柯（epticore）、思比科（superpix）等。
瑷镨瑞思通过其独有的工艺技术，使得背照式ccd/cmos工艺相融合，可在非常宽的光频谱范围内达到很高的光电效应，进而实现具有更高性能的光学传感器；其图像传感器非常适用于超快速图像采集，高灵敏度tof 3d相机和tdi相机，以及基于硅的广域光谱传感器。艾普柯是国内一家直接做tof和vcsel二合一的深度传感器公司。在2017年9月11日由麦姆斯咨询主办的‘“微言大义”研讨会：3d摄像头技术及应用’上，瑷镨瑞思和艾普柯将就其公司的创新产品、技术和应用发表演讲，欢迎报名参加获取更多的讯息！
推荐会议：
2017年9月11日，由麦姆斯咨询主办的‘“微言大义”研讨会：3d摄像头技术及应用’将在上海隆重举行（同期展会：2017年中国（上海）传感器技术与应用展览会）。本次研讨会内容涉及3d摄像头应用及市场分析、3d摄像头原理及技术路线、3d摄像头模组剖析及算法解析等。已邀请英特尔、viavi solutions、瑷镨锐思（espros）、炬佑智能、图漾科技、西安知微传感、艾普柯等企业进行演讲，如果贵司希望参加演讲或展会，请联系：
联系人：王懿
邮箱：wangyi@memsconsulting.com
电话：18217468860
研讨会报名具体信息和报名路径请参考：
延伸阅读：
《走进3d视觉系列（一）：3d摄像头已来，产业链布局初成》
《走进3d视觉系列（二）：3d视觉应用方案详解》
《走进3d视觉系列（三）：正在崛起的蓝海——3d摄像头模组》
《走进3d视觉系列（四）：红外光源格局改变在即》
《走进3d视觉系列（五）：且难且前行的“mems微镜”》
《3d成像和传感-2017版》
《cmos图像传感器产业现状-2017版》
《英特尔realsense 3d摄像头与意法半导体红外激光发射器》
北斗模块的作用及该如何进行使用
欧洲将晋级上汽首个“20万辆级”海外区域市场
VR设备市场爆发将带动催生19个应用市场
是德科技N6785A源表模块上报OV维修
手机界中的“高端黑”黑的高贵，黑的漂亮：vivo Xplay6、三星S7 edge、OPPO R9S、iPhone7
走进3D视觉系列（六）：新兴应用驱动下的图像传感器
Python序列的字典类型介绍
低配位Au催化剂上钾助剂对水煤气变换反应促进作用的理论研究
集成VGA辅助可以精确增益控制
蓄电池在线监测系统的应用方案
智能手机需求大幅下降 芯片、MEMS及传感器业务遭受重大冲击
国内医疗保健升级 引领医疗器械产业新热潮
PCB会过期？PCB过期后先烘烤？
一定要用华为鸿蒙系统的思维来重视楼宇数字化
AI大数据为网络安全保驾护航
基于SDSoC开发流程环境应用的详解以及其优势
2018年度全球半导体设备厂商Top15发布,中国占一席
区块链可以在三个方面起到安全强化作用
论音响线材
索尼将为苹果提供OLED微显示屏,用于AR/VR眼镜设备