ToF传感器究竟有多神奇？
tof相机
最近，tof相机已经成为很多旗舰智能手机不可或缺的一部分。它是如何工作的？有哪些技术优势？最适合哪些应用？市场上又有哪些产品可供选择呢？带着这些问题，今天我们就来一起探究一下。
什么是tof？
在回答上述问题之前，我们先来回顾一下大家非常熟悉的声纳探测器。根据百度百科的描述，声纳探测器是一种利用声波在水下的传播特性，通过电声转换和信息处理，完成水下探测和通信任务的电子设备。它主要利用水中声波对水下的目标进行探测、定位和通信。
tof是飞行时间（time of flight）的缩写，tof传感器的工作原理与声纳探测非常相似，它是通过测量光从物体上反射所需的时间来进行物体的定位和通信。tof传感器采用的是红外光，当光从物体上反射回传感器后，根据光的发射与反射的时间差，就可以计算出传感器与测量物体之间的距离。很多时候，tof传感器也被称为深度相机（depth camera）或者tof相机。
tof传感器本身由两部分组成：第一部分是发射红外光的二极管，第二部分是特殊的光敏矩阵。传感器测量从物体反射回来的时间可以精确到纳秒级。此外，tof传感器还有一个重要特性使其成为一个3d传感器。那是因为tof传感器不仅可以准确计算单个物体与传感器的距离，利用激光返回时间和波长的差异，还能对目标进行精确的数字三维（3d）表征，并直观地绘制出目标的各个特征，为我们提供一个三3d图像。
现在，tof传感器已经出现在许多高端智能手机中，如三星、华为、oppo rx17 pro、honor等。在自动驾驶汽车甚至美国宇航局建造的太空探测器中，都使用了tof传感器。
tof技术的优势和不足
任何一项技术都会有其独特的优势，当然也会存在一些不足，tof同样不会例外。下面我们先来看一下tof的优点。
低功耗： tof技术仅使用一个红外光光源就可以直接测量每个像素中的深度和幅度信息。也就是说，在一个实际场景中，通过发射光和接收光之间测量到的相位差以及幅度值可以得到高度可靠的距离信息以及完整场景的灰度图像。在这个过程中，tof可以将功耗保持在很低的水平，并能提供用于实时操作的快速数据采集。此外，tof所需的深度数据处理比结构光或立体视觉等其它算法密集型深度感测技术要求低，因此在应用处理器上还可以节省额外的功率。
小尺寸： tof技术的固有优势在于其摄像头模块简单而稳健，它仅由两个关键部件组成：成像器和单个闪光照明组件。因此，它的摄像头模块非常小，适用于空间要求苛刻的应用，比如智能手机，可轻松实现稳定的批量生产。
精确快速的测量： 与超声波或激光等其他距离传感器相比，tof传感器能够快速合成场景的3d图像。不仅如此，tof传感器还能在短时间内准确地探测到物体，并且不受湿度、气压和温度的影响。
远距离测量： 由于tof传感器使用的是激光，它们能够以极高的精度测量较远的距离。因此，tof传感器能够灵活地检测到各种形状和大小的远近物体。
安全性高： 可能很多人会担心tof传感器发出的激光会伤害到眼睛。其实大可不必担心，因为许多tof传感器都采用低功率红外激光，达到了1级激光安全标准。
成本效益高： 与其他三维深度范围扫描技术（如结构光相机系统或激光测距仪）相比，tof传感器相对要便宜得多。
尽管tof有很多好处，但它也有其技术局限性。具体包括：
散射光带来的伪影： 如果被测物体表面特别明亮且非常靠近tof传感器，它们会将太多的光散射到接收器中，并产生伪影和不必要的反射。
多次反射带来测量的不确定性： 当在拐角和凹面上使用tof传感器时，光线可能会被多次反射，这些不必要的反射将给测量带来很大的不确定性。
环境光对测量带来不利影响： 当在阳光明媚的户外使用tof传感器时，高强度的阳光会导致传感器像素的快速饱和，从而无法检测到物体反射的实际光。
tof与lidar的对比
我们这里讨论谈论的tof属于光学测距，其实在这一领域还有一个重要产品——激光雷达（lidar）。虽然都是使用光进行距离测定和三维测绘，tof与lidar到底有何不同？
激光雷达（lidar）是激光探测和测距的缩写，这项技术使用一个激光器作为光源。虽然激光雷达对移动设备来说可能是新技术，但这项技术本身已经存在相当长的一段时间了。在非移动环境中，激光雷达被用于绘制水下环境图和发现考古遗址等工作。
从技术上讲，lidar和tof传感器的最主要区别在于：lidar使用光脉冲来测量飞行时间，tof传感器则利用连续波从反射和相移得到飞行时间。与lidar相比，tof需要较少的专用设备，因此可以与更小、更便宜的设备一起使用。严格地说，lidar激光雷达比tof的测量速度更快且更加精确，这在技术更先进的应用中是非常重要的。随着技术的不断拓展，tof与lidar的协同应用越来越多。
tof传感器的主要应用
作为一款能够精确测量深度信息的传感器，tof传感器的主要应用包括：
智能手机等消费电子
自2015年tof传感器首次应用在iphone x前置摄像头方案中，就迅速掀起了其在手机中应用的热潮，之后其广泛应用于手机的前置感测和后置辅助对焦等应用场景，仅在手机上年出货量就超亿颗，应用手机超过200款。tof与结构光、双目视觉技术（stereo vision）共同组成了当前3d摄像头的三条主流技术路线。预计到2024年，应用于智能手机的后置3d摄像头市场规模将增长到每年5亿多颗。
stmicroelectronics（st）三合一智能光学模块vl6180x是较早用于智能手机中的tof产品，该芯片整合了接近传感器、环境光传感器以及vcsel光源。接下来的5年里，st陆续推出了vl6180x、vl53l0、vl53l1、vl53l3、vl53l5等四代tof产品。
除手机外，tof传感器还广泛应用在扫地机避障、投影仪辅助对焦、相机辅助对焦、智能灯具、智能卫浴如自动水龙头、自动皂液器、智能马桶、机器人、无人机等许多领域。
ar（增强现实）和vr（虚拟现实）
在ar/vr耳机中，tof 3d相机能生成实时3d点云，使ar/vr软件能够更好地识别场景中任何感兴趣对象的周围环境。这种增强的功能允许更高精度的dslr质量图像效果用于对象定位，并促进场景的虚拟和实际元素之间更复杂和动态的交互。另一方面，该系统具有检测玩家动作的能力，不需要使用人机界面（hmi），就可以让游戏通过手势与虚拟元素进行密集的交互。
infineon（英飞凌）携手pmd最新推出的real3 tof图像传感器芯片，微小的芯片被可以集成到小型化的摄像头模组中，为ar应用提供各种距离的精确深度测量，同时为图像传感器节省40%以上的功耗。这款real3 tof传感器能够在各种距离、光照条件和使用场景下实现差异化的摄像头性能，同时为移动设备延长电池的使用寿命。此外，real3 tof传感器还可以实现更平滑更具沉浸感的ar体验，提供高质量的深度数据捕捉，最远可达10米，且在短距离内不会丢失分辨率。
工业机器人
借助于环境的实时三维深度图，机器人能够更准确地识别物体及其移动范围。通过手势识别，机器人可以在协同应用中直接与人交互。在工业应用中，采用3d-tof相机的机器人能更精确地对任何产品进行三维测量，并能高精度地抓取和放置产品。
st不久前发布的vl53l5产品，是第一款能够监测64个不同区域的tof传感器。它与vl53l1x相似，都具有相同的量程，并采用了940nm vcsel。不过，vl53l5尺寸稍大一些，为6.4mm x 3mm x 1.5mm。但视野范围扩大到61º（水平和垂直方向43º），而不是上一代的27º。
vl53l1x是2018年推出的tof传感器，可达到4米测距范围，是当时市面上最小的tof传感器。相比2016年推出的vl53l0x测距范围增加一倍。vl53lx的封装尺寸为4.9mm x 2.5mm x 1.56mm，而vl53l0x的尺寸为4.4mm x 2.4mm x 1.0mm。st已经决定同时保留这两种器件，以帮助设计师为产品选择最合适的组件，那些不需要额外距离的人可以从更小、更实惠的解决方案中获益，而确实需要更高性能的工程师可基于此前的开发方案，选择新一代更强功能的tof传感器。
汽车
3d tof相机在下一代汽车中具有巨大的应用潜力。该技术有助于车辆实时获得良好的环境感知，实现快速机动和避障，这也是自主驾驶不可或缺的能力。3d tof还可以用来监控驾驶员和乘客的状态，并在紧急情况下接管车辆的控制。3d tof相机的手势检测可用于设置室内气候控制或切换到来电。
adi公司开发的tof模块结合影像传感器和vga tof传感器模块与内建图像处理器方案，比传统音波检测具备更佳的检测角度，也更能准确测量物体跟汽车的距离。因此可为汽车倒车系统、开门防护系统、停车辅助系统及盲点侦测等应用提供更大范围的碰撞侦测预防。
作为tof方案的核心器件之一，adi的tof前端芯片addi903x系列支持ccd红外光tof传感器，分辨率可达640 x 480。addi903x可将影像信号转换为数字信号，并提供高精确度的脉波时间控制器，闭回路设计，让激光二极管控制的脉波宽度更准确，进而可以得到更精准的深度数据。
图5：adi公司tof方案系统组成框图（图源：adi）
安全和监视
3d tof相机能提供实际场景中物体的高分辨率3d深度映射。与传统的2d成像相比，这是一个显著的优势，因为它提供了高度的可信度，可以根据精确的位置对人和物体进行分类。
ams拥有全球最小的集成式1d tof距离测量和接近传感模块。这款传感器非常适合实施存在监测，例如，当用户脸部位于识别范围内时，即可触发人脸识别系统操作。最新款tmf8701传感器采用2.2mm x 3.6mm x 1.0mm封装，有助于智能手机制造商实现具有高显示屏占比的宽屏手机设计。
tmf8701集成了vcsel红外发射器、多个spad（单光子雪崩光电二极管）光探测器、时间-数字转换器和直方图处理内核。设备在芯片上实现基于直方图的全占位监测、距离测量和接近传感算法。tmf8701独立识别显示屏上的指纹污染以及盖玻片范围以外物体（例如用户脸部）的光反射，即使在传感器孔径脏污时，也能保持可靠性能。在正常照明条件下测量距离为20~60cm范围时，模块实现了±5%准确度。即使在明亮太阳光（100klux）下，也可以在高达35cm的范围内保持±5%准确度。
图6：tmf8701原理方框图（图源：ams）
结语
有一点是肯定的，tof有很大的市场潜力。根据yole的预测，包括tof技术在内的全球3d成像与传感市场，将以20%的年均复合成长率从2019年的50亿美元成长至2025年的150亿美元。其中，摄像头后置3d成像应用将超过前置，市场渗透率将在2025年接近42%。
事实上，智能手机可以成为一个超精密的距离测量设备或夜视仪，这也意味着人们再也不愿购买没有tof传感器的手机了。虽然我们处在刚刚起步阶段，未来，随着tof传感器技术及多点测距的进一步发展，它将会被应用到更多的领域。
CMOS图像传感器市场的深入阐述
SiC MOSFET学习笔记：各家SiC厂商的MOSFET结构
TiDB底层存储结构LSM树原理介绍
可穿戴设备：始终确保工人安全
2021年人工智能数据采集标注行业的四大趋势
ToF传感器究竟有多神奇？
Life Technologies 推出新型DNA试剂盒
告别数字时代的汽车仪表该走向何方
PCB布局挑战——改进您的开关模式电源设计
热敏打印机的心电图形快速打印方法
STM32单片机的独立看门狗和窗口看门狗的特点及用法解析
万亿市场！搞懂物联网产业链很简单！
瑞昱半导体:晶圆厂产能满载,担忧晶圆产能不足会影响公司营收
物通博联水利智能网关实现水文遥测站数据采集远程监控
研华推出EPC-T4286紧凑型嵌入式工控机 满足各类小型化行业应用需求
高频RFID技术及其应用案例综述
科学家利用3D打印技术构造出了高效海水淡化结构
IoT行业前景广阔 欧菲光积极布局打造增长新动能
耐电压测试使用交流还是直流 直流耐压与交流耐压的区别
三星可以向华为供货高端OLED屏幕
最近，tof相机已经成为很多旗舰智能手机不可或缺的一部分。它是如何工作的？有哪些技术优势？最适合哪些应用？市场上又有哪些产品可供选择呢？带着这些问题，今天我们就来一起探究一下。
什么是tof？
在回答上述问题之前，我们先来回顾一下大家非常熟悉的声纳探测器。根据百度百科的描述，声纳探测器是一种利用声波在水下的传播特性，通过电声转换和信息处理，完成水下探测和通信任务的电子设备。它主要利用水中声波对水下的目标进行探测、定位和通信。
tof是飞行时间（time of flight）的缩写，tof传感器的工作原理与声纳探测非常相似，它是通过测量光从物体上反射所需的时间来进行物体的定位和通信。tof传感器采用的是红外光，当光从物体上反射回传感器后，根据光的发射与反射的时间差，就可以计算出传感器与测量物体之间的距离。很多时候，tof传感器也被称为深度相机（depth camera）或者tof相机。
tof传感器本身由两部分组成：第一部分是发射红外光的二极管，第二部分是特殊的光敏矩阵。传感器测量从物体反射回来的时间可以精确到纳秒级。此外，tof传感器还有一个重要特性使其成为一个3d传感器。那是因为tof传感器不仅可以准确计算单个物体与传感器的距离，利用激光返回时间和波长的差异，还能对目标进行精确的数字三维（3d）表征，并直观地绘制出目标的各个特征，为我们提供一个三3d图像。
现在，tof传感器已经出现在许多高端智能手机中，如三星、华为、oppo rx17 pro、honor等。在自动驾驶汽车甚至美国宇航局建造的太空探测器中，都使用了tof传感器。
tof技术的优势和不足
任何一项技术都会有其独特的优势，当然也会存在一些不足，tof同样不会例外。下面我们先来看一下tof的优点。
低功耗： tof技术仅使用一个红外光光源就可以直接测量每个像素中的深度和幅度信息。也就是说，在一个实际场景中，通过发射光和接收光之间测量到的相位差以及幅度值可以得到高度可靠的距离信息以及完整场景的灰度图像。在这个过程中，tof可以将功耗保持在很低的水平，并能提供用于实时操作的快速数据采集。此外，tof所需的深度数据处理比结构光或立体视觉等其它算法密集型深度感测技术要求低，因此在应用处理器上还可以节省额外的功率。
小尺寸： tof技术的固有优势在于其摄像头模块简单而稳健，它仅由两个关键部件组成：成像器和单个闪光照明组件。因此，它的摄像头模块非常小，适用于空间要求苛刻的应用，比如智能手机，可轻松实现稳定的批量生产。
精确快速的测量： 与超声波或激光等其他距离传感器相比，tof传感器能够快速合成场景的3d图像。不仅如此，tof传感器还能在短时间内准确地探测到物体，并且不受湿度、气压和温度的影响。
远距离测量： 由于tof传感器使用的是激光，它们能够以极高的精度测量较远的距离。因此，tof传感器能够灵活地检测到各种形状和大小的远近物体。
安全性高： 可能很多人会担心tof传感器发出的激光会伤害到眼睛。其实大可不必担心，因为许多tof传感器都采用低功率红外激光，达到了1级激光安全标准。
成本效益高： 与其他三维深度范围扫描技术（如结构光相机系统或激光测距仪）相比，tof传感器相对要便宜得多。
尽管tof有很多好处，但它也有其技术局限性。具体包括：
散射光带来的伪影： 如果被测物体表面特别明亮且非常靠近tof传感器，它们会将太多的光散射到接收器中，并产生伪影和不必要的反射。
多次反射带来测量的不确定性： 当在拐角和凹面上使用tof传感器时，光线可能会被多次反射，这些不必要的反射将给测量带来很大的不确定性。
环境光对测量带来不利影响： 当在阳光明媚的户外使用tof传感器时，高强度的阳光会导致传感器像素的快速饱和，从而无法检测到物体反射的实际光。
tof与lidar的对比
我们这里讨论谈论的tof属于光学测距，其实在这一领域还有一个重要产品——激光雷达（lidar）。虽然都是使用光进行距离测定和三维测绘，tof与lidar到底有何不同？
激光雷达（lidar）是激光探测和测距的缩写，这项技术使用一个激光器作为光源。虽然激光雷达对移动设备来说可能是新技术，但这项技术本身已经存在相当长的一段时间了。在非移动环境中，激光雷达被用于绘制水下环境图和发现考古遗址等工作。
从技术上讲，lidar和tof传感器的最主要区别在于：lidar使用光脉冲来测量飞行时间，tof传感器则利用连续波从反射和相移得到飞行时间。与lidar相比，tof需要较少的专用设备，因此可以与更小、更便宜的设备一起使用。严格地说，lidar激光雷达比tof的测量速度更快且更加精确，这在技术更先进的应用中是非常重要的。随着技术的不断拓展，tof与lidar的协同应用越来越多。
tof传感器的主要应用
作为一款能够精确测量深度信息的传感器，tof传感器的主要应用包括：
智能手机等消费电子
自2015年tof传感器首次应用在iphone x前置摄像头方案中，就迅速掀起了其在手机中应用的热潮，之后其广泛应用于手机的前置感测和后置辅助对焦等应用场景，仅在手机上年出货量就超亿颗，应用手机超过200款。tof与结构光、双目视觉技术（stereo vision）共同组成了当前3d摄像头的三条主流技术路线。预计到2024年，应用于智能手机的后置3d摄像头市场规模将增长到每年5亿多颗。
stmicroelectronics（st）三合一智能光学模块vl6180x是较早用于智能手机中的tof产品，该芯片整合了接近传感器、环境光传感器以及vcsel光源。接下来的5年里，st陆续推出了vl6180x、vl53l0、vl53l1、vl53l3、vl53l5等四代tof产品。
除手机外，tof传感器还广泛应用在扫地机避障、投影仪辅助对焦、相机辅助对焦、智能灯具、智能卫浴如自动水龙头、自动皂液器、智能马桶、机器人、无人机等许多领域。
ar（增强现实）和vr（虚拟现实）
在ar/vr耳机中，tof 3d相机能生成实时3d点云，使ar/vr软件能够更好地识别场景中任何感兴趣对象的周围环境。这种增强的功能允许更高精度的dslr质量图像效果用于对象定位，并促进场景的虚拟和实际元素之间更复杂和动态的交互。另一方面，该系统具有检测玩家动作的能力，不需要使用人机界面（hmi），就可以让游戏通过手势与虚拟元素进行密集的交互。
infineon（英飞凌）携手pmd最新推出的real3 tof图像传感器芯片，微小的芯片被可以集成到小型化的摄像头模组中，为ar应用提供各种距离的精确深度测量，同时为图像传感器节省40%以上的功耗。这款real3 tof传感器能够在各种距离、光照条件和使用场景下实现差异化的摄像头性能，同时为移动设备延长电池的使用寿命。此外，real3 tof传感器还可以实现更平滑更具沉浸感的ar体验，提供高质量的深度数据捕捉，最远可达10米，且在短距离内不会丢失分辨率。
工业机器人
借助于环境的实时三维深度图，机器人能够更准确地识别物体及其移动范围。通过手势识别，机器人可以在协同应用中直接与人交互。在工业应用中，采用3d-tof相机的机器人能更精确地对任何产品进行三维测量，并能高精度地抓取和放置产品。
st不久前发布的vl53l5产品，是第一款能够监测64个不同区域的tof传感器。它与vl53l1x相似，都具有相同的量程，并采用了940nm vcsel。不过，vl53l5尺寸稍大一些，为6.4mm x 3mm x 1.5mm。但视野范围扩大到61º（水平和垂直方向43º），而不是上一代的27º。
vl53l1x是2018年推出的tof传感器，可达到4米测距范围，是当时市面上最小的tof传感器。相比2016年推出的vl53l0x测距范围增加一倍。vl53lx的封装尺寸为4.9mm x 2.5mm x 1.56mm，而vl53l0x的尺寸为4.4mm x 2.4mm x 1.0mm。st已经决定同时保留这两种器件，以帮助设计师为产品选择最合适的组件，那些不需要额外距离的人可以从更小、更实惠的解决方案中获益，而确实需要更高性能的工程师可基于此前的开发方案，选择新一代更强功能的tof传感器。
汽车
3d tof相机在下一代汽车中具有巨大的应用潜力。该技术有助于车辆实时获得良好的环境感知，实现快速机动和避障，这也是自主驾驶不可或缺的能力。3d tof还可以用来监控驾驶员和乘客的状态，并在紧急情况下接管车辆的控制。3d tof相机的手势检测可用于设置室内气候控制或切换到来电。
adi公司开发的tof模块结合影像传感器和vga tof传感器模块与内建图像处理器方案，比传统音波检测具备更佳的检测角度，也更能准确测量物体跟汽车的距离。因此可为汽车倒车系统、开门防护系统、停车辅助系统及盲点侦测等应用提供更大范围的碰撞侦测预防。
作为tof方案的核心器件之一，adi的tof前端芯片addi903x系列支持ccd红外光tof传感器，分辨率可达640 x 480。addi903x可将影像信号转换为数字信号，并提供高精确度的脉波时间控制器，闭回路设计，让激光二极管控制的脉波宽度更准确，进而可以得到更精准的深度数据。
图5：adi公司tof方案系统组成框图（图源：adi）
安全和监视
3d tof相机能提供实际场景中物体的高分辨率3d深度映射。与传统的2d成像相比，这是一个显著的优势，因为它提供了高度的可信度，可以根据精确的位置对人和物体进行分类。
ams拥有全球最小的集成式1d tof距离测量和接近传感模块。这款传感器非常适合实施存在监测，例如，当用户脸部位于识别范围内时，即可触发人脸识别系统操作。最新款tmf8701传感器采用2.2mm x 3.6mm x 1.0mm封装，有助于智能手机制造商实现具有高显示屏占比的宽屏手机设计。
tmf8701集成了vcsel红外发射器、多个spad（单光子雪崩光电二极管）光探测器、时间-数字转换器和直方图处理内核。设备在芯片上实现基于直方图的全占位监测、距离测量和接近传感算法。tmf8701独立识别显示屏上的指纹污染以及盖玻片范围以外物体（例如用户脸部）的光反射，即使在传感器孔径脏污时，也能保持可靠性能。在正常照明条件下测量距离为20~60cm范围时，模块实现了±5%准确度。即使在明亮太阳光（100klux）下，也可以在高达35cm的范围内保持±5%准确度。
图6：tmf8701原理方框图（图源：ams）
结语
有一点是肯定的，tof有很大的市场潜力。根据yole的预测，包括tof技术在内的全球3d成像与传感市场，将以20%的年均复合成长率从2019年的50亿美元成长至2025年的150亿美元。其中，摄像头后置3d成像应用将超过前置，市场渗透率将在2025年接近42%。
事实上，智能手机可以成为一个超精密的距离测量设备或夜视仪，这也意味着人们再也不愿购买没有tof传感器的手机了。虽然我们处在刚刚起步阶段，未来，随着tof传感器技术及多点测距的进一步发展，它将会被应用到更多的领域。
CMOS图像传感器市场的深入阐述
SiC MOSFET学习笔记：各家SiC厂商的MOSFET结构
TiDB底层存储结构LSM树原理介绍
可穿戴设备：始终确保工人安全
2021年人工智能数据采集标注行业的四大趋势
ToF传感器究竟有多神奇？
Life Technologies 推出新型DNA试剂盒
告别数字时代的汽车仪表该走向何方
PCB布局挑战——改进您的开关模式电源设计
热敏打印机的心电图形快速打印方法
STM32单片机的独立看门狗和窗口看门狗的特点及用法解析
万亿市场！搞懂物联网产业链很简单！
瑞昱半导体:晶圆厂产能满载,担忧晶圆产能不足会影响公司营收
物通博联水利智能网关实现水文遥测站数据采集远程监控
研华推出EPC-T4286紧凑型嵌入式工控机 满足各类小型化行业应用需求
高频RFID技术及其应用案例综述
科学家利用3D打印技术构造出了高效海水淡化结构
IoT行业前景广阔 欧菲光积极布局打造增长新动能
耐电压测试使用交流还是直流 直流耐压与交流耐压的区别
三星可以向华为供货高端OLED屏幕