前不久,frost&sullivan公布数据,2019年格科微实现13.1亿颗cmos图像传感器出货,占据了全球20.7%的市场份额,位居行业第二。要知道cmos图像传感器市场几乎一直被索尼和三星等国外大厂垄断。还有此前的豪威科技,cmos图像传感器市场中份额仅次于索尼的厂商被中国财团收购。cmos传感器有何魅力,让资本和厂商都如此卖力地纷纷入局呢?
总所周知,数据、算法和算力是人工智能的三大驱动力。而作为目前人工智能落地最广泛的图像识别应用,其核心cmos 图像传感器分别在这三大驱动力的背后起到了不可或缺的促进作用。
感知层面的重要传感器
如果问一个人,最重要的感官是哪个?大部分人的答案一定是——视觉。正如同眼睛为大脑提供了最多的外界感知信息一样,在未来的人工智能应用场景中,cmos图像传感器也将成为感知层面最重要的传感器。
人工智能的发展离不开海量的数据,而这些数据中的大部分都是图像数据。因此可以这么说,人工智能应用的崛起就是cmos图像传感器继移动设备普及之后的第二次爆发机会。我们不妨看看目前人工智能最主要的应用场景,包括人脸识别、自动驾驶、智能家居等,都需要大量的cmos图像传感器提供图像数据。
而人工智能丰富的应用场景则会带来多样的问题——低光照、高速运动、功耗限制等,这些问题无一不在考验cmos厂商的产品开发实力。可以说,海量的数据采集需求为传感器领域带来了巨大的商机,同时也引入了更多全新挑战。作为全球前五的cmos图像传感器厂商,同时也是慕尼黑上海电子展展商的安森美半导体就在2019年推出arx3a0数字图像传感器,具有30万像素分辨率,采用1:1纵横比。该器件提供达每秒360帧(fps)的捕获率,在许多条件下像全局快门般工作,但具有背照式(bsi)卷帘快门传感器的尺寸、性能和响应优势。arx3a0具有小尺寸、方形格式和高帧速率,特别适用于新兴的机器视觉、人工智能和增强实境(ar)/ 虚拟实境(vr)应用,以及小型辅助安防摄像机。
此外,同样是慕展展商,全球领先的高性能传感器解决方案供应商艾迈斯半导体在今年1月推出了cmos全局快门近红外(nir)图像传感器cgss130,且与其推出的3d系统形成完美互补。cgss130可大幅降低脸部识别、支付认证等3d光学传感应用的功耗,这对于依赖电池供电的便携电子设备而言是至关重要的性能。同时cgss130还支持更先进的传感器功能。
据悉,cgss130传感器的nir波段灵敏度是目前市场同类产品的四倍,它能够可靠地检测到3d传感系统中极低功耗ir发射器的反射信号。在脸部识别和其他3d传感应用中,ir发射器会消耗大部分功率,因此制造商使用cgss130传感器可延长移动设备的电池运行时间。可穿戴设备和其他采用极小电池供电的产品使用该传感器可实现脸部识别功能。灵敏度的提高扩大了在相同功率预算下的测量范围,从而还可实现除了脸部识别之外的其他新应用。
准确的图像数据是深度学习的保障
谈及图像识别算法,必然绕不开“深度学习”这个概念。图像识别,本质上就是分析图像传感器获得的图像数据,并识别出图像中的待识别物体,因此,图像识别算法的开发至关重要。
目前,图像识别算法的开发已经有将近三十年的历史了,从最早的人工特征提取方式,到“深度学习”概念提出后,利用卷积神经网络进行特征提取、分类等操作,再到使用一个网络的端对端模型来完成识别任务,算法开发者们正逐渐地革新算法,从而实现更快的速度、更低的资源消耗、更少的学习成本,乃至达到实时的图像识别。
正如“看”离不开大脑也离不开眼睛一样,利用深度学习进行图像识别,也离不开“机器眼”——cmos图像传感器。算法开发者都知道,图像数据中噪点的数量会直接影响最后识别的结果,过多的噪点甚至会导致准确率下降到一个无法承受的程度。
同时,由于cmos成像原理造成的诸如快速运动下的“果冻效应”、像素驱动模式造成的“led频闪”等诸多成像问题,都会导致深度学习算法无法获得准确的图像数据。
因此,图像识别算法的革新以及应用的开发,也离不开cmos图像传感器开发者的努力。正如同眼脑合作才能视物一样,只有cmos图像传感器和图像识别算法的紧密合作,才能实现真正实用的实时图像识别。
从云端到云边一体再到传感器端运算
人工智能的物理基础,就是由人工智能芯片组成的算力。而根据《中国人工智能芯片产业发展白皮书》的预测,随着边缘计算的发展和边缘端人工智能芯片的发展,人工智能算力正在经历从云端到云边一体的发展过程。
云端计算往往聚焦非实时、长周期的大数据分析,而边缘端运算则通过人工智能算法的前置,解放部分云端的计算资源,提高计算效率,增加整体算法的实时性。两者互补,就能同时满足强大运算性能和实时性的要求。因此,业界正在追求云边一体的结合,从而实现更灵活的人工智能算法部署。
而随着人工智能应用场景的进一步发展,在满足实时性需求时,可能会出现边缘端计算仍然无法应对的情况,这时候就需要将人工智能算法进一步前置,通过传感器端的运算,减轻边缘端算力压力和数据传输带宽压力。
虽然这一概念仍然处于初步探索阶段,但已经有国内的cmos厂商已经开始探索这一概念的可能性了。例如国内安防领域市占率第一的cmos图像传感器厂商思特威科技,早在2019年3月就已正式推出“smartsensor”ai智能传感器芯片平台的概念。
三大驱动力融合方能塑造人工智能的未来
无论是数据(感知层)、算法还是算力,目前的产业发展往往还是以单一企业为主体,各个产业链环节的企业各自进行独立的创新,这在产业的新兴阶段往往能通过激烈的竞争诞生不少黑马。但是,随着产业的逐渐发展成熟,未来人工智能产业的发展将以合作为主线,若干个主要的生态系统或者平台将崛起成为行业的核心。
目前不少中国厂商纷纷入局了cmos领域,例如思特威、思比科、格科微、锐芯微、比亚迪、兆易创新(思立微)等等,在这样的生态系统或者平台中,他们会处于何种地位呢?
与拥有产业链优势的国际巨头不同,中国cmos图像传感器企业往往只专精于cmos图像传感器领域本身,因此,只有积极参与生态系统和平台的合作中,与整条产业链的各个环节开展紧密的协作,才能在人工智能应用领域诞生出不容忽视的中国力量。
arm模式在移动时代的巨大成功已经证明,小而精的企业组成生态系统的商业模式也能取得堪比pc时代巨头垄断模式的成功。那么在下一个人工智能时代,一个融合了数据、算法和算力层面诸多创新企业的生态系统,也拥有美好的前途,而在这其中,cmos图像传感器企业则将是 “必不可少”的配角。 *本文整理自智东西、传感器专家网。
小米6最新消息:雷军发微博吃火锅排队三小时,遭网友吐槽:雷总,我买小米6可是排了几个月,说好的现货呢
为什么流水线ADC是超高速转换应用的绝佳选择
上上签电子签约迎来7周年,网络效应催生超千万客户网络
基于STM32设计的物联网环境监测系统(华为云IOT)
5G时代:选择Hisan激光大屏,选择先进生产力工具
CMOS传感器有何优势?
Clock Skew , Clock uncertainly 和 Period
KUKA机器人镇流电阻温度传感器导线断线说明
欧洲电气化正在从汽车向叉车、工程机械等领域延伸
浅析消防应急照明系统在化工厂中的应用
快手成2019央视春晚内容分发平台,发挥短视频+直播的优势传播正能量
热电阻测温电路框图和原理图
航智2022年终总结暨2023年目标大会圆满举行
开局2024:碳酸锂库存重回7万吨“背后” 节后反弹,希望几何?
汽车芯片厂商向先进工艺迈进,国内厂商机会来临
当iphone7遇上水钻,当保时捷遇到华为mate9各自走向不同人生
昱辉阳光宣布将出售加拿大一系列运营项目 拟将工作重心转向其他有利可图的市场
foc电机控制需要几个pwm foc控制算法介绍
AFE8092 AGC功能中的帧同步特性详解
PS2键盘接口设计之二(实现了从键盘输入并显示在LCD液晶屏上)