无人驾驶汽车平台的机遇和挑战
无人驾驶汽车平台的激增？在空中，地面上，在水中？为扩大情报、监视和侦察行动提供了无与伦比的机会。选择功能、性能、可靠性和成本的最佳组合是优化视频使用的关键挑战。同时，除了尺寸、重量和功耗 （swap） 之外，关键考虑因素还包括传感器处理位置趋势、视频融合、视频压缩和带宽。
下一波军事演变浪潮是由保护作战人员生命的双重需求推动的，另一方面是控制运营成本的需要。这些必要条件正在推动空军和海军的大量投资。无人驾驶车辆比载人车辆更具消耗性，这意味着它们可以部署在原本不可能完成的任务上，并且它们具有更大的耐力。
合作任务（载人/无人组队）和自主作战（加油、着陆/对接、感知和避开）等无人车部署场景的出现增加了视频处理特征和后续图像数据传输的复杂性和需求。
无论无人驾驶车辆的类型是什么 - 无论是陆地，海上还是空中 - 其任务通常包括三个关键要素：数据采集，数据处理和数据传输。此外，目标跟踪和数据融合等应用需要时间敏感性、空间感知和相互感知，以正确理解和利用数据。低延迟处理和传输是关键的性能指标，特别是当人类操作员和关键决策者位于远离数据收集点的位置时。除了尺寸、重量和功率 （swap） 之外，还研究了关键考虑因素（传感器处理位置趋势、视频融合、视频压缩和带宽）。
趋势：靠近传感器
随着高清传感器在无人驾驶车辆上变得司空见惯，其增加的带宽需求给传统的视频跟踪和处理系统带来了巨大的处理开销。这一趋势导致采用视频架构，这些架构可以以最小的延迟处理更高的像素密度、帧速率和多个视频源。更高的清晰度反过来又会产生指数级增长的数据量，并对下载链接的带宽要求产生相关影响，并且需要通过有效捕获，转换和压缩视频流来管理这一要求。图 2 显示了接口带宽与原始视频带宽的关系。
图 2：接口带宽与原始视频带宽
解决这种二分法的一种方法是在传感器上进行处理，因为通常没有时间将数据发送到地面以做出决定，或者这样做可能会丢失视频保真度（图3）。在传感器本地处理视频可能是有益的，因为在进行任何缩小或压缩损失之前，可以从原始高保真图像中提取相关信息，例如目标指标，并且这可以在低延迟（通常小于1帧）下完成，以驱动后续决策过程。然而，这以远程车辆更大的功耗为潜在代价，这可能会影响续航里程和续航能力，特别是在功率限制极其严格的小型平台上。
图 3：趋势是处理视频，并提取尽可能靠近传感器的相关信息。
图像融合简化数据雪崩
无人驾驶军用车辆上的传感器数量正在迅速增加，因此需要智能方式在不使信息过载的情况下向操作员呈现信息，同时降低系统的功耗、重量和尺寸。军事和准军事成像系统可以包括对多个波段敏感的传感器，包括彩色可见光、增强可见光、近红外、热红外和太赫兹成像仪。在此列表中，我们可以添加将相机源与合成视频（如地形图）同化的需要。通常，这些系统具有一个显示器，一次只能显示来自一个摄像头的数据，因此操作员必须选择要集中处理的图像，或者必须循环通过不同的传感器输出。图像融合是一种技术，可以将来自每个传感器的互补信息组合成一个可以显示给操作员的优质图像。
融合方法包括简单的加法图像融合方法，该方法对每个输入图像应用加权，然后线性组合它们。这具有低延迟和中等处理能力的优点，但具有可变质量输出，并且不能保证保留完整的图像对比度。在大多数情况下，线性加权融合算法将产生一个完全可接受的图像，该图像显然是输入图像的组合，并且比并排查看两个相机输出更可取。但是，在某些情况下，加权平均技术将导致关键场景特征的丢失，并且融合图像可能无法提供场景的增强视图。
如果需要更高质量的图像融合系统，则必须采用更先进的技术。两个传感器融合的最可靠和最成功的方法是使用多分辨率技术来分析输入图像，以最大限度地提高融合图像中的场景细节和对比度。多分辨率方法的复杂性增加，在线性组合技术上引入了额外的处理负载，但为根据要求定制算法和更高质量、更可靠的融合图像提供了更大的空间。
成功图像融合的一个关键组成部分是输入对齐，以确保不同源图像中的像素对应于现实世界中的相同时间和位置。如果不是这种情况，现实世界中的一个特征可以在融合图像中表示两次，从而创建令人困惑的场景表示。理想的图像融合系统将包含同步传感器和公共光路，但由于成本或其他限制，这通常是不可能的。
可以通过缓冲一个图像流来提供时间对齐，这可以补偿具有不同延迟的未同步成像器或传感器。将一个图像与另一个图像匹配的过程是通过创建扭曲的图像来实现的。通过首先计算原始图像中输出像素的来源，然后使用周围像素的值插值其强度来评估变形图像的像素强度。这可以补偿传感器的任何相对旋转，光学轴的未对准或图像比例的差异。
内置的变形引擎可以为每个视频源提供旋转、缩放和平移，以补偿图像失真和成像器之间的不对中，从而减少对成像器精确匹配的需求，从而降低整体系统成本。这些系统只需要一台显示器，进一步降低了swap要求。
由于融合的目标是增加动态范围并提供更大的景深，传感器数据和合成视频（例如地形图）现在正在融合，以增强对诸如掉电等具有挑战性的环境的局部态势感知。
视频压缩
无人驾驶车辆和地面站之间的通信带宽始终处于较高水平（图 4）。例如，传输原始捕获的视频最多可能导致不可接受的延迟。因此，机载系统通常需要进行重要的本地处理，以识别有价值的信息，并在传输之前丢弃没有价值的信息。随着无人驾驶车辆变得越来越自主 - 不再由地面站引导，并且能够根据实时数据调整任务 - 这种车载处理将具有更大的意义。
图 4：从自动驾驶汽车到地面站的视频图像通信带来了重大挑战。
除此之外，为了进一步降低带宽消耗，需要使用编解码器来压缩传输的视频，以最小化数据流，同时最大限度地提高图像保真度。今天选择的编解码器是h.264，也称为h.264 / mpeg4，其使用的比特率约为以前视频编解码器的一半（或更低）。h.264之所以受欢迎，不仅因为它的效率，还因为它的应用很广泛-包括在广播电视中。这意味着，与jpeg2000等替代方案相比，有大量的支持和专业知识基础设施可以使实施基于h.264的系统对军方来说更快，成本更低。
考虑到新系统正在添加更多的视频源，并以更高的帧速率将图像分辨率从较低质量提高到高清晰度，因此有效的视频压缩变得更加重要。结果是每个视频流的原始数据增加了12倍，这需要大量的数据压缩，以使操作员能够在控制中心查看一个视频源。
信号适配器问题
日益复杂的像素处理链（例如跟踪和稳定压缩）加上每辆车上使用的传感器数量的增加，导致正在处理的像素数量增加了十倍。满足无人系统飞速发展的视频处理需求，同时满足不断下降的swap期望是一项艰巨的任务。将跟踪、移动目标检测、图像稳定、图像处理和压缩等过程组合在一块电路板上，不仅可以节省空间，还可以使系统集成得更紧密，整体功率水平更低。
将不同的处理任务合理化为单个统一的处理平台是解决此问题的一种有用方法，并且已经可以使用swap优化的基于cots的图像处理模块，这些模块设计用于放置在小型平台上，例如手动发射的无人机或小型无人地面车辆（图5）。
图 5：ge 的 adept3000 系统级模块图像处理器专为高度受限的 swap 环境而设计。
最终，视频架构的仔细规划和实施对于任何有效的解决方案都至关重要，多功能图像处理器的使用可以成为在不牺牲性能的情况下减少整体swap占用空间的有效工具。
动物疫病快速诊断仪的产品特点的介绍
蔚来理想小鹏的答卷每个问题里都有特斯拉
售价高昂的Micro-LED，它有什么优势优点
简单分析石英加速度计的工作原理
在直播交友软件市场，开发一个仿抖音运营级的手机直播软件需要多少资金？
无人驾驶汽车平台的机遇和挑战
精确的数据采集其实全是相对的
自动驾驶和半自动驾驶汽车的验证和确认相关的工程挑战和机遇
基于芯原GPU IP 的处理器平台上完成适配及性能优化
博泰车联网智能座舱将采用BlackBerry QNX技术
艾比森与麦格米特合作推动行业对电源使用标准
如何合理地选择配电电缆和断路器
低成本安全处理器为自动化设计构筑安全防线
威马汽车620.94万元财产被冻结
如何精确的制造PCB
预计苹果将会在近两年推出mini LED显示屏产品
英伟达计划建造英国最快的超级计算机
单相电机接线分零火线吗
看RFID标签如何管理医疗试剂
美国拒绝承认华为专利
下一波军事演变浪潮是由保护作战人员生命的双重需求推动的，另一方面是控制运营成本的需要。这些必要条件正在推动空军和海军的大量投资。无人驾驶车辆比载人车辆更具消耗性，这意味着它们可以部署在原本不可能完成的任务上，并且它们具有更大的耐力。
合作任务（载人/无人组队）和自主作战（加油、着陆/对接、感知和避开）等无人车部署场景的出现增加了视频处理特征和后续图像数据传输的复杂性和需求。
无论无人驾驶车辆的类型是什么 - 无论是陆地，海上还是空中 - 其任务通常包括三个关键要素：数据采集，数据处理和数据传输。此外，目标跟踪和数据融合等应用需要时间敏感性、空间感知和相互感知，以正确理解和利用数据。低延迟处理和传输是关键的性能指标，特别是当人类操作员和关键决策者位于远离数据收集点的位置时。除了尺寸、重量和功率 （swap） 之外，还研究了关键考虑因素（传感器处理位置趋势、视频融合、视频压缩和带宽）。
趋势：靠近传感器
随着高清传感器在无人驾驶车辆上变得司空见惯，其增加的带宽需求给传统的视频跟踪和处理系统带来了巨大的处理开销。这一趋势导致采用视频架构，这些架构可以以最小的延迟处理更高的像素密度、帧速率和多个视频源。更高的清晰度反过来又会产生指数级增长的数据量，并对下载链接的带宽要求产生相关影响，并且需要通过有效捕获，转换和压缩视频流来管理这一要求。图 2 显示了接口带宽与原始视频带宽的关系。
图 2：接口带宽与原始视频带宽
解决这种二分法的一种方法是在传感器上进行处理，因为通常没有时间将数据发送到地面以做出决定，或者这样做可能会丢失视频保真度（图3）。在传感器本地处理视频可能是有益的，因为在进行任何缩小或压缩损失之前，可以从原始高保真图像中提取相关信息，例如目标指标，并且这可以在低延迟（通常小于1帧）下完成，以驱动后续决策过程。然而，这以远程车辆更大的功耗为潜在代价，这可能会影响续航里程和续航能力，特别是在功率限制极其严格的小型平台上。
图 3：趋势是处理视频，并提取尽可能靠近传感器的相关信息。
图像融合简化数据雪崩
无人驾驶军用车辆上的传感器数量正在迅速增加，因此需要智能方式在不使信息过载的情况下向操作员呈现信息，同时降低系统的功耗、重量和尺寸。军事和准军事成像系统可以包括对多个波段敏感的传感器，包括彩色可见光、增强可见光、近红外、热红外和太赫兹成像仪。在此列表中，我们可以添加将相机源与合成视频（如地形图）同化的需要。通常，这些系统具有一个显示器，一次只能显示来自一个摄像头的数据，因此操作员必须选择要集中处理的图像，或者必须循环通过不同的传感器输出。图像融合是一种技术，可以将来自每个传感器的互补信息组合成一个可以显示给操作员的优质图像。
融合方法包括简单的加法图像融合方法，该方法对每个输入图像应用加权，然后线性组合它们。这具有低延迟和中等处理能力的优点，但具有可变质量输出，并且不能保证保留完整的图像对比度。在大多数情况下，线性加权融合算法将产生一个完全可接受的图像，该图像显然是输入图像的组合，并且比并排查看两个相机输出更可取。但是，在某些情况下，加权平均技术将导致关键场景特征的丢失，并且融合图像可能无法提供场景的增强视图。
如果需要更高质量的图像融合系统，则必须采用更先进的技术。两个传感器融合的最可靠和最成功的方法是使用多分辨率技术来分析输入图像，以最大限度地提高融合图像中的场景细节和对比度。多分辨率方法的复杂性增加，在线性组合技术上引入了额外的处理负载，但为根据要求定制算法和更高质量、更可靠的融合图像提供了更大的空间。
成功图像融合的一个关键组成部分是输入对齐，以确保不同源图像中的像素对应于现实世界中的相同时间和位置。如果不是这种情况，现实世界中的一个特征可以在融合图像中表示两次，从而创建令人困惑的场景表示。理想的图像融合系统将包含同步传感器和公共光路，但由于成本或其他限制，这通常是不可能的。
可以通过缓冲一个图像流来提供时间对齐，这可以补偿具有不同延迟的未同步成像器或传感器。将一个图像与另一个图像匹配的过程是通过创建扭曲的图像来实现的。通过首先计算原始图像中输出像素的来源，然后使用周围像素的值插值其强度来评估变形图像的像素强度。这可以补偿传感器的任何相对旋转，光学轴的未对准或图像比例的差异。
内置的变形引擎可以为每个视频源提供旋转、缩放和平移，以补偿图像失真和成像器之间的不对中，从而减少对成像器精确匹配的需求，从而降低整体系统成本。这些系统只需要一台显示器，进一步降低了swap要求。
由于融合的目标是增加动态范围并提供更大的景深，传感器数据和合成视频（例如地形图）现在正在融合，以增强对诸如掉电等具有挑战性的环境的局部态势感知。
视频压缩
无人驾驶车辆和地面站之间的通信带宽始终处于较高水平（图 4）。例如，传输原始捕获的视频最多可能导致不可接受的延迟。因此，机载系统通常需要进行重要的本地处理，以识别有价值的信息，并在传输之前丢弃没有价值的信息。随着无人驾驶车辆变得越来越自主 - 不再由地面站引导，并且能够根据实时数据调整任务 - 这种车载处理将具有更大的意义。
图 4：从自动驾驶汽车到地面站的视频图像通信带来了重大挑战。
除此之外，为了进一步降低带宽消耗，需要使用编解码器来压缩传输的视频，以最小化数据流，同时最大限度地提高图像保真度。今天选择的编解码器是h.264，也称为h.264 / mpeg4，其使用的比特率约为以前视频编解码器的一半（或更低）。h.264之所以受欢迎，不仅因为它的效率，还因为它的应用很广泛-包括在广播电视中。这意味着，与jpeg2000等替代方案相比，有大量的支持和专业知识基础设施可以使实施基于h.264的系统对军方来说更快，成本更低。
考虑到新系统正在添加更多的视频源，并以更高的帧速率将图像分辨率从较低质量提高到高清晰度，因此有效的视频压缩变得更加重要。结果是每个视频流的原始数据增加了12倍，这需要大量的数据压缩，以使操作员能够在控制中心查看一个视频源。
信号适配器问题
日益复杂的像素处理链（例如跟踪和稳定压缩）加上每辆车上使用的传感器数量的增加，导致正在处理的像素数量增加了十倍。满足无人系统飞速发展的视频处理需求，同时满足不断下降的swap期望是一项艰巨的任务。将跟踪、移动目标检测、图像稳定、图像处理和压缩等过程组合在一块电路板上，不仅可以节省空间，还可以使系统集成得更紧密，整体功率水平更低。
将不同的处理任务合理化为单个统一的处理平台是解决此问题的一种有用方法，并且已经可以使用swap优化的基于cots的图像处理模块，这些模块设计用于放置在小型平台上，例如手动发射的无人机或小型无人地面车辆（图5）。
图 5：ge 的 adept3000 系统级模块图像处理器专为高度受限的 swap 环境而设计。
最终，视频架构的仔细规划和实施对于任何有效的解决方案都至关重要，多功能图像处理器的使用可以成为在不牺牲性能的情况下减少整体swap占用空间的有效工具。
动物疫病快速诊断仪的产品特点的介绍
蔚来理想小鹏的答卷每个问题里都有特斯拉
售价高昂的Micro-LED，它有什么优势优点
简单分析石英加速度计的工作原理
在直播交友软件市场，开发一个仿抖音运营级的手机直播软件需要多少资金？
无人驾驶汽车平台的机遇和挑战
精确的数据采集其实全是相对的
自动驾驶和半自动驾驶汽车的验证和确认相关的工程挑战和机遇
基于芯原GPU IP 的处理器平台上完成适配及性能优化
博泰车联网智能座舱将采用BlackBerry QNX技术
艾比森与麦格米特合作推动行业对电源使用标准
如何合理地选择配电电缆和断路器
低成本安全处理器为自动化设计构筑安全防线
威马汽车620.94万元财产被冻结
如何精确的制造PCB
预计苹果将会在近两年推出mini LED显示屏产品
英伟达计划建造英国最快的超级计算机
单相电机接线分零火线吗
看RFID标签如何管理医疗试剂
美国拒绝承认华为专利