基于OPT9221 ToF传感器的立体视觉和深度感知电路设计
成像对于许多机器人应用至关重要，能让机器人执行基本任务，躲避障碍物，进行导航以及确保基本安全。 显然，提供成像的方式是采用低成本视频摄像头，或者再好点，使用两个摄像头实现立体视野和深度感知。 但后者存在一些缺点。
使用双摄像头实现三维成像会增加功耗和空间需求，同时也会使外形尺寸和制造工艺变得复杂，并且增加成本。 由于三维成像是从基本“协助”单元到自主驾驶车辆应用的主流，因此设计人员需要比简单添加更多摄像头更好的替代方案。
为此，设计人员正在越来越多地使用替代方案，这些方案在封装、成本、功耗、数据缩减和整体性能方面存在优势。 这些替代方案中就有飞行时间 （tof） 成像系统（通常又称为光探测和测距，或称作 lidar）。 这些成像系统可采用红外 （ir） 成像（通常称为热成像）作为辅助手段。
从 ir 谈起
红外电磁波的波长比可见光谱红端的电磁波更长；ir 波段的波长通常被认为在 700 nm （0.7 μm） 到 1 mm （1000 μm） 之间。 简单的说，这些波长表示物体的热辐射。 通过恰当的 ir 成像系统，此 ir“热图”被转换为可见光图像，通常含有添加的伪色，以突出相对温度（图 1）。
注意，该 ir 成像不同于 ir 传感。 感测是一种用于检测，或者甚至是测量热源的非接触方法，例如人员经过作为报警系统一部分的被动红外 （pir） 传感器，或者监测到管道过热；没有类似图像的细节或者图像分辨率。
为何使用 ir 来替代，或者用于补充传统的可见光成像？ 有多个理由：
当感兴趣的物体融入到背景中，无论是故意隐藏或只是巧合，这时 ir 就能发挥其价值
ir 能帮助定位视野中的人员或温血动物
在寻找造成局部发热的常见故障时，如过热的管道、蒸汽管路、阴燃火灾或电器故障等，ir 也可非常有用
现在，由于高集成度、高性能元件的出现，并且这些元件具有易于使用的接口，使得实施 ir 成像子系统大为简化。 例如，flir systems， inc. 的 lepton ir 摄像头（图 2）。 该器件的尺寸约为 10 × 12 × 6 mm，集成了定焦镜头组、适用于 8 - 14 μm ir 的 80 × 60 像素长波红外 （lwir） 微测传感器阵列、以及信号处理电子元件。
通过使用行业标准 mipi 和 spi 视频接口，以及类似双线 i2 c 的串行控制接口，使得互连大大简化（图 3）。 除了尺寸小巧、易于使用，lepton 单元还具有高性能，成像快（不超过 0.5 秒），且热灵敏度低于 50 mk。 工作功率也较低，为 150 mw（典型）。
这样的产品得益于用户的实践经验，因此 flir 为摄像头模块提供分线板，它兼容基于 arm 的评估板和 raspberry pi（图 4）。 这款 25 mm × 24 mm 的电路板需要 3 v 到 5.5 v 单电源供电，带有 25 mhz 系统时钟、用于其他低噪电源轨的内部 ldo、标准互连接头，以及用于 lepton 模块自身的 32 引脚 molex 排针。
tof 的兴起
热图像对于许多应用都很有用，但却不能满足这些应用的全部要求，此时就需要通常采用 3d 技术的可见光成像系统。 显而易见，这就需要采用标准的视频摄像头。现在许多厂商都提供这样的摄像头，并且提供许多不同的分辨率、光灵敏度、尺寸和接口选择。 若需要立体成像，则使用一对摄像头。
尽管热成像已问世数十年，但相比如今的成像装置，其性能欠佳、成本和功率消耗较高，而 tof 技术则相对较新。 20 世纪 90 年代，此项技术首先作为学术概念被提出，然而能让它切实可行的基本元件和处理能力直到过去十年才出现。
tof 通常是许多应用的首选成像方法，包括自主驾驶车辆（自动驾驶汽车），并且已经进行数百英里的实际道路测试。 （在架构方面，智能或自主车辆属于轮式机器人系统，带有传感器、算法和定义的动作，只是角度不同。） 相比传统成像摄像头，tof 方法实际上具有一些明显优势（讨论如下）。
工作方式：传统摄像头成像的工作原理通常被工程设计人员所理解，比较直观，而 tof 则了解的人不多，并且更多依赖于通过方程和感测到的光子实现。 此项技术包括两个关键元件：一个精确控制和调制式光源（固态激光或 led，通常在 850 μm 近 ir 范围下工作，因此肉眼不可见）、一个用于“查看”由来自成像场景的发射光线反射的像素阵列。
要完全了解 tof 原理，需要明白定义其工作原理的方程式，且要考虑一些不可避免的错误来源，然后对其进行补偿。 整体 tof 过程可通过两种方式完成：光源以低占空比脉冲重复，或者由连续正弦波或方波源进行调制。 若使用脉冲模式，反射的光能通过两个异相窗采样，这些采样值用于计算到目标的距离。 若使用连续模式，传感器每次测量时取四个采样值，每个采样值偏置 90⁰，这样便可计算照射和反射之间的相位角以及距离。
tof 序列和计算的输出是表示成像区域的点数据集合，术语“点云”由此而来。［1］
相对利弊：使用一个或两个摄像头的传统成像，还是使用 tof 方法，需要根据应用的具体情况进行判断。 对于基本的检测和缺陷识别，假设物体已知并且目标在照明受控的环境中经过特征提取/对比，那么提供二维图像的单摄像头通常是最佳选择。 但是，若照明发生变化，tof 可能会更好，因为它受到环境光线变化的影响较小。
对于使用两个传统摄像头的三维成像，需要以机械和安装问题为起点从多方面考虑并做出决定。 即使这些都不是问题，处理图像的系统也必须采用功能强大的算法，以解决“对应”问题，即将一个摄像头中场景中的点和另一个摄像头中场景中的相同点匹配。 这样做需要大量颜色或灰阶变化，深度准确性通常由于成像场景的不均匀表面而受到限制。 相比之下，tof 系统受到机械问题、照明与对比度问题的影响较小，不需要三维结果的图像对应匹配。
鉴于具有响应快、处理大范围客观特征的能力，以及生成的点云的本质，tof 系统非常适合于在自主驾驶车辆中将手势、面部或身体姿势转换为命令，以及捕捉周围环境。 然而，由于许多基础成像摄像头已成为市面上的常见设备，因此使用传统的单个或两个摄像头配置的解决方案成本更低。
实现：tof 系统有五个主要的功能块：
光源：生成精确定时的光源脉冲的元件
光学器件：对焦传感器上的光线对焦镜头；可能还带有光学带通滤波器，以降低环境光线的“噪声“
图像传感器：用于捕捉从被照射场景反射回的光线
管理电子元件：控制发光单元和图像传感器，并使其同步
计算单元和接口：根据发出光线与返回光线的时间差以及感测到的光子计算距离
选择光发射器和成像传感器是配置 tof 系统的第一步。 发射器选择包括二极管，如 vishay vsmy1850x01，这是一种专用于高速运行的 850 μm ir 器件。 该器件支持由 100 ma 驱动的 10 纳秒上升和下降时间，使其适合脉冲模式。
传感器或像素阵列是 tof 系统的核心，现在已能作为更大、集成度更高的设备的一部分提供，如 texas instruments opt8241 飞行时间传感器/控制器 ic（图 6）。 如简化型框图（图 7）所示，该器件包括传感器源（上述项目 3）、控制电子元件（项目 4），并且可向诸如 opt9221 飞行时间控制器等协同处理器提供数字化反射数据，处理器可利用数字化传感器的数据计算深度数据。 opt9221 还具备各种校正功能，包括抗锯齿、非线性补偿和温度补偿。
正如设计用于不仅能够捕捉场景，还能以一致、有用的方式进行的任何视频系统一样，tof 软件的设计并不繁琐。 ti 提供详细的用户指南［2］、估算工具，以便设计人员评估性能和参数的相互作用，如深度分辨率、二维分辨率（像素量）、距离范围、帧率、视场 （fov）、环境光和物体的反射率。
结论
机器人系统的设计人员始终面临如何提供细节清晰的“周围环境感测”的挑战。 幸运的是，如今的设计人员可以采用高性能、功能强大、相对低成本的技术，包括红外成像、传统视频摄像头、甚至基于飞行时间原理的 lidar。 因此，由于它们的整体功耗较低，许多全套设计采用这些方法的组合，以克服任何单一技术的缺陷，从而提供更全面的多维度图片。
一文读懂增强现实技术原理及特点
新品发布：创芯微推出AFE模拟前端芯片新品CM20X6系列产品
智能水电表采集网关采集水电热气四表数据
数模转换器如何助力激光打标系统提高精度
广成科技GCAN-206/208两种CAN中继方式的优缺点分别有哪些
基于OPT9221 ToF传感器的立体视觉和深度感知电路设计
温度传感器的应用领域
可持续生产：关乎未来的远大愿景
华为最新可穿戴设备曝光
三大运营商加速5G部署 有望引爆千亿市场蓝海
窥探日本制造技术创新史的兴衰
预计2021年AMOLED产能相比2018年翻倍,三星成最大受益者
机器人助阵“双11“,10亿件也不在话下
实战经验 | 移植 SBSFU 到 STM32G070 的过程
智能疏散系统的优势有哪些
无人机反制枪能针对哪些小型飞行器
华硕双十一钜惠来袭，4K新品PA279CV显示器广受欢迎
UWB强势来袭 无线通信技术百花齐放
网络爬虫教程（1）：音乐歌单编写
当AI将取代人工效率，一亿人如何应对
使用双摄像头实现三维成像会增加功耗和空间需求，同时也会使外形尺寸和制造工艺变得复杂，并且增加成本。 由于三维成像是从基本“协助”单元到自主驾驶车辆应用的主流，因此设计人员需要比简单添加更多摄像头更好的替代方案。
为此，设计人员正在越来越多地使用替代方案，这些方案在封装、成本、功耗、数据缩减和整体性能方面存在优势。 这些替代方案中就有飞行时间 （tof） 成像系统（通常又称为光探测和测距，或称作 lidar）。 这些成像系统可采用红外 （ir） 成像（通常称为热成像）作为辅助手段。
从 ir 谈起
红外电磁波的波长比可见光谱红端的电磁波更长；ir 波段的波长通常被认为在 700 nm （0.7 μm） 到 1 mm （1000 μm） 之间。 简单的说，这些波长表示物体的热辐射。 通过恰当的 ir 成像系统，此 ir“热图”被转换为可见光图像，通常含有添加的伪色，以突出相对温度（图 1）。
注意，该 ir 成像不同于 ir 传感。 感测是一种用于检测，或者甚至是测量热源的非接触方法，例如人员经过作为报警系统一部分的被动红外 （pir） 传感器，或者监测到管道过热；没有类似图像的细节或者图像分辨率。
为何使用 ir 来替代，或者用于补充传统的可见光成像？ 有多个理由：
当感兴趣的物体融入到背景中，无论是故意隐藏或只是巧合，这时 ir 就能发挥其价值
ir 能帮助定位视野中的人员或温血动物
在寻找造成局部发热的常见故障时，如过热的管道、蒸汽管路、阴燃火灾或电器故障等，ir 也可非常有用
现在，由于高集成度、高性能元件的出现，并且这些元件具有易于使用的接口，使得实施 ir 成像子系统大为简化。 例如，flir systems， inc. 的 lepton ir 摄像头（图 2）。 该器件的尺寸约为 10 × 12 × 6 mm，集成了定焦镜头组、适用于 8 - 14 μm ir 的 80 × 60 像素长波红外 （lwir） 微测传感器阵列、以及信号处理电子元件。
通过使用行业标准 mipi 和 spi 视频接口，以及类似双线 i2 c 的串行控制接口，使得互连大大简化（图 3）。 除了尺寸小巧、易于使用，lepton 单元还具有高性能，成像快（不超过 0.5 秒），且热灵敏度低于 50 mk。 工作功率也较低，为 150 mw（典型）。
这样的产品得益于用户的实践经验，因此 flir 为摄像头模块提供分线板，它兼容基于 arm 的评估板和 raspberry pi（图 4）。 这款 25 mm × 24 mm 的电路板需要 3 v 到 5.5 v 单电源供电，带有 25 mhz 系统时钟、用于其他低噪电源轨的内部 ldo、标准互连接头，以及用于 lepton 模块自身的 32 引脚 molex 排针。
tof 的兴起
热图像对于许多应用都很有用，但却不能满足这些应用的全部要求，此时就需要通常采用 3d 技术的可见光成像系统。 显而易见，这就需要采用标准的视频摄像头。现在许多厂商都提供这样的摄像头，并且提供许多不同的分辨率、光灵敏度、尺寸和接口选择。 若需要立体成像，则使用一对摄像头。
尽管热成像已问世数十年，但相比如今的成像装置，其性能欠佳、成本和功率消耗较高，而 tof 技术则相对较新。 20 世纪 90 年代，此项技术首先作为学术概念被提出，然而能让它切实可行的基本元件和处理能力直到过去十年才出现。
tof 通常是许多应用的首选成像方法，包括自主驾驶车辆（自动驾驶汽车），并且已经进行数百英里的实际道路测试。 （在架构方面，智能或自主车辆属于轮式机器人系统，带有传感器、算法和定义的动作，只是角度不同。） 相比传统成像摄像头，tof 方法实际上具有一些明显优势（讨论如下）。
工作方式：传统摄像头成像的工作原理通常被工程设计人员所理解，比较直观，而 tof 则了解的人不多，并且更多依赖于通过方程和感测到的光子实现。 此项技术包括两个关键元件：一个精确控制和调制式光源（固态激光或 led，通常在 850 μm 近 ir 范围下工作，因此肉眼不可见）、一个用于“查看”由来自成像场景的发射光线反射的像素阵列。
要完全了解 tof 原理，需要明白定义其工作原理的方程式，且要考虑一些不可避免的错误来源，然后对其进行补偿。 整体 tof 过程可通过两种方式完成：光源以低占空比脉冲重复，或者由连续正弦波或方波源进行调制。 若使用脉冲模式，反射的光能通过两个异相窗采样，这些采样值用于计算到目标的距离。 若使用连续模式，传感器每次测量时取四个采样值，每个采样值偏置 90⁰，这样便可计算照射和反射之间的相位角以及距离。
tof 序列和计算的输出是表示成像区域的点数据集合，术语“点云”由此而来。［1］
相对利弊：使用一个或两个摄像头的传统成像，还是使用 tof 方法，需要根据应用的具体情况进行判断。 对于基本的检测和缺陷识别，假设物体已知并且目标在照明受控的环境中经过特征提取/对比，那么提供二维图像的单摄像头通常是最佳选择。 但是，若照明发生变化，tof 可能会更好，因为它受到环境光线变化的影响较小。
对于使用两个传统摄像头的三维成像，需要以机械和安装问题为起点从多方面考虑并做出决定。 即使这些都不是问题，处理图像的系统也必须采用功能强大的算法，以解决“对应”问题，即将一个摄像头中场景中的点和另一个摄像头中场景中的相同点匹配。 这样做需要大量颜色或灰阶变化，深度准确性通常由于成像场景的不均匀表面而受到限制。 相比之下，tof 系统受到机械问题、照明与对比度问题的影响较小，不需要三维结果的图像对应匹配。
鉴于具有响应快、处理大范围客观特征的能力，以及生成的点云的本质，tof 系统非常适合于在自主驾驶车辆中将手势、面部或身体姿势转换为命令，以及捕捉周围环境。 然而，由于许多基础成像摄像头已成为市面上的常见设备，因此使用传统的单个或两个摄像头配置的解决方案成本更低。
实现：tof 系统有五个主要的功能块：
光源：生成精确定时的光源脉冲的元件
光学器件：对焦传感器上的光线对焦镜头；可能还带有光学带通滤波器，以降低环境光线的“噪声“
图像传感器：用于捕捉从被照射场景反射回的光线
管理电子元件：控制发光单元和图像传感器，并使其同步
计算单元和接口：根据发出光线与返回光线的时间差以及感测到的光子计算距离
选择光发射器和成像传感器是配置 tof 系统的第一步。 发射器选择包括二极管，如 vishay vsmy1850x01，这是一种专用于高速运行的 850 μm ir 器件。 该器件支持由 100 ma 驱动的 10 纳秒上升和下降时间，使其适合脉冲模式。
传感器或像素阵列是 tof 系统的核心，现在已能作为更大、集成度更高的设备的一部分提供，如 texas instruments opt8241 飞行时间传感器/控制器 ic（图 6）。 如简化型框图（图 7）所示，该器件包括传感器源（上述项目 3）、控制电子元件（项目 4），并且可向诸如 opt9221 飞行时间控制器等协同处理器提供数字化反射数据，处理器可利用数字化传感器的数据计算深度数据。 opt9221 还具备各种校正功能，包括抗锯齿、非线性补偿和温度补偿。
正如设计用于不仅能够捕捉场景，还能以一致、有用的方式进行的任何视频系统一样，tof 软件的设计并不繁琐。 ti 提供详细的用户指南［2］、估算工具，以便设计人员评估性能和参数的相互作用，如深度分辨率、二维分辨率（像素量）、距离范围、帧率、视场 （fov）、环境光和物体的反射率。
结论
机器人系统的设计人员始终面临如何提供细节清晰的“周围环境感测”的挑战。 幸运的是，如今的设计人员可以采用高性能、功能强大、相对低成本的技术，包括红外成像、传统视频摄像头、甚至基于飞行时间原理的 lidar。 因此，由于它们的整体功耗较低，许多全套设计采用这些方法的组合，以克服任何单一技术的缺陷，从而提供更全面的多维度图片。
一文读懂增强现实技术原理及特点
新品发布：创芯微推出AFE模拟前端芯片新品CM20X6系列产品
智能水电表采集网关采集水电热气四表数据
数模转换器如何助力激光打标系统提高精度
广成科技GCAN-206/208两种CAN中继方式的优缺点分别有哪些
基于OPT9221 ToF传感器的立体视觉和深度感知电路设计
温度传感器的应用领域
可持续生产：关乎未来的远大愿景
华为最新可穿戴设备曝光
三大运营商加速5G部署 有望引爆千亿市场蓝海
窥探日本制造技术创新史的兴衰
预计2021年AMOLED产能相比2018年翻倍,三星成最大受益者
机器人助阵“双11“,10亿件也不在话下
实战经验 | 移植 SBSFU 到 STM32G070 的过程
智能疏散系统的优势有哪些
无人机反制枪能针对哪些小型飞行器
华硕双十一钜惠来袭，4K新品PA279CV显示器广受欢迎
UWB强势来袭 无线通信技术百花齐放
网络爬虫教程（1）：音乐歌单编写
当AI将取代人工效率，一亿人如何应对