CMOS图像传感器将服务于感知领域 激光雷达(LiDAR)的事件导向方法

在快速发展的工厂自动化、物联网和自动驾驶车辆市场上,cmos图像传感器似乎扮演的角色不再是人类消费品,而是让机器获取数据并让其理解世界的传感器。
法国著名市场研究和技术分析机构yole的mems &成像部活动负责人pierre cambou这样评论道:“cmos图像传感器的传感功能将逐渐超过本身的成像功能,”并大胆预测“到2030年,一半的cmos图像传感器将服务于感知领域。”
总部位于法国巴黎的prophesee sa(原chronocam)公司以革命领跑者自居。作为先进的神经视觉系统设计公司,提出了一种基于事件的方法进行传感和处理。prophesee的仿生视觉技术一直被认为与传统机器视觉有实质性的差异,处于危险的“超前期”。但prophesee联合创始人兼首席执行官luca verre告诉我们:“不久的将来,这种想法将被证实是错误的。”
prophesee联合创始人兼首席执行官luca verre
在与luca verre面对面采访中,我们了解到prophesee已获得b+轮融资(在过去三年中,prophesee已募得4000万美元的资金)。prophesee已与一家大型消费电子公司(未透露具体名字)签订了合作协议。最重要的是,prophesee正在积极地把神经视觉系统从通常的技术概念中跳出,变成开发商的参考系统。
prophesee的第一款参考设计用在vga分辨率应用,由prophesee提供基于异步时间的图像传感器(asynchronous time-based image sensor,以下简称atis)芯片和软件算法。asic将由以色列的代工合作伙伴(我们猜测很有可能是tower jazz)制造。
prophesee暂时不愿提供asic和参考设计规范的详细说明。计划在未来几周内会正式发布该产品。尽管如此,参考设计能为系统设计者提供见证和经历atis在数据传感领域作用的机会,且已被事实证明,这家初创公司算得上完成了一个里程碑。atis的特点是瞬时清晰度高、数据率低、动态范围高、功耗低。
摄像头 = 瓶颈 机器视觉系统的制造者,不管是智能工厂、物联网,还是自动驾驶车辆都已经关注到基于事件的方法,这是由prophesee的联合创始人ryad benosman和christoph posch大力推行的。
可以捕捉传统相机获取的所有详细视觉信息,verre认为“摄像头成为技术瓶颈”。毫无疑问,摄像头是最强大的传感装置。然而,对于自动化系统、监控摄像机或高度自动化的车辆的视觉数据,摄像头的处理速度可能会减慢。
但谈及自动驾驶,verre认为车辆内部的中央处理系统被来自摄像头、激光雷达、雷达及其它视觉来源的数据所“轰炸”。管理这类过载的关键是如何最好地减少来自传感器的原始数据量。传感器只能捕捉数据,会带来额外的无用视觉信息。
prophesee曾向采访记者解释说,prophesee的事件导向(event-driven)视觉传感器的灵感来自生物学。这种看法源于联合创始人对人类眼睛和大脑工作的研究。prophesee的创始人之一ryad benosman告诉我们,人类的眼睛和大脑“不会基于一连串帧来记录视觉信息”。生物比你想象的更复杂,“人类会捕捉到时空变化里感兴趣的东西,并把这些信息有效地传送到大脑”。这也是prophesee的atis的主要作用。
总之,prophesee的atis提供了基于框架的图像传感无法完成的一切功能。在另一个联合创始人christoph posch看来,“基于帧的方法会导致冗余的记录数据,从而引发高功耗。”他说,“这样的后果是低效的数据率和膨胀的存储量。基于帧的视频,以每秒30帧或60帧甚至更高的速率运行,会导致捕获的图像发生畸变。”
用于激光雷达(lidar)的事件导向方法 verre向我们透露prophesee正在探索采用事件导向(event-driven)方法用于其它传感器如激光雷达、雷达的可能性。verre假设:“如果我们可以引导激光雷达只捕捉到其相关和必须的数据,会不会很吸引人?”如果能做到这一点,不仅可以加快数据采集,还可以减少需要处理的数据量。
phrophesee目前正在评估这个想法,verre说公司在得到结论前需要几个月时间评估。但他补充说:“我们很有信心,我们能成功”。当被我们问及拓展事件导向方法到其它传感器的新思路时,yole的分析师cambou认为“基于事件的摄像头与激光雷达的优势结合(提供‘z’信息),是一件非常有趣的事情。”
需要指出的是,传统激光雷达的问题是与典型的高端工业相机相比分辨率较低,受限于分辨率。cambou认为事件导向的方法可以改善激光雷达性能,尤其是在事件快速接近,如行人突然出现在自动驾驶车辆前面时。缺点是激光雷达硬件必须做相应的改变,显然,对phrophesee来说,需要一家激光雷达企业的强有力的支持,来促成这种新方法。
cambou说,“当然,这始终是技术型初创企业面临的问题。”他指出,mobileye需要如沃尔沃和特斯拉这类领先汽车厂商(在技术将成为主流,需要越来越被广泛地被接受);movidius(已被英特尔收购),需要道琼斯指数为成功铺平道路。“prophesee将需要一个强有力的合作伙伴来促进解决方案被大量采用。”cambou说。
cambou补充道:“考虑到机器人汽车领域的市场驱动因素(安全第一,技术驱动,非成本第一),这应该是可能的。”虽然cambou表达了他对巨头(如谷歌)依靠技术型初创公司的担忧,他也表示这幺小的市场用量不会带来太大的麻烦。

科锐产品将面临25%关税,带来不成比例的经济伤害
高压探头定义及其使用注意事项
深度分析SSD主控市场
Intel第八代酷睿家族全面扩军:双核心双线程赛扬399元起
MEMS传感器技术助力制造业改善预测维护
CMOS图像传感器将服务于感知领域 激光雷达(LiDAR)的事件导向方法
大众速腾,马自达昂克赛拉这几款车绝对是省油高手!
数据的价值到底有多大?大数据特征是什么
采用数据集中器设计为智能电网提供电力线通信
基于深度学习的智能机器人导航和感知
2021年自动驾驶卡车赛道的发展变化
西门子PLC与触摸屏通讯通信干扰的处理方法
苹果AirPods开箱评测 音质比EarPods要好
indie收购先进汽车雷达SoC厂商ilicon Radar
AppAnnie:2022蓬勃发展的移动经济有望实现更多增长
暖手宝电池自动点焊机有什么优势
Python 之父正式加入微软
交流接触器是什么意思
射频设计难题之PCB叠层
如何正确使用电烙铁