使用NVIDIA DeepStream在Fyma解锁视频管道
在云中提供大规模的计算机视觉是一项复杂的任务。 fyma ，一家计算机视觉公司，正借助于 nvidia deepstream 。
作为一家相对较新的公司， fyma 将视频转换为数据——更具体地说，是物理空间中的运动数据。 fyma 平台每天全天使用客户的实时视频流，并生成移动事件（例如，有人穿过门口或商店过道）。
他们早期学到的一个教训是，他们的视频处理管道必须简单、可扩展，同时具备良好的性能。由于发展资源有限，一开始它们只能拥有这三种资源中的一种。 nvidia deepstream 最近通过缩短开发时间、提高性能和提供优秀的软件组件（如 gstreamer ），解锁了同时拥有这三种功能的能力。
直播视频流的挑战
fyma 专注于消费实时视频流，以简化其客户的实施。客户可能会犹豫是否在其场所安装传感器或任何其他硬件，因为他们已经投资了安全摄像头。由于这些摄像机可以在任何地方， fyma 可以提供不同的对象检测模型，以在不同的环境中最大限度地提高精度。
消费实时视频流在多个方面具有挑战性：
摄像机有时会产生损坏的视频（呈现/解码时间戳跳跃，报告的帧率错误）
网络问题导致视频流冻结、结巴、跳转或脱机
cpu /内存负载分配和规划并不简单
实时视频流是无限的
实时视频流的无限性意味着 fyma 的平台必须至少以帧到达的速度执行计算机视觉。基本上，整个管道必须实时工作。否则，帧将无休止地累积。
幸运的是，在过去几年中，目标检测在速度和准确性方面稳步提高。这意味着每秒可以从 1000 多张图像中检测到物体，而地图的比例超过 90% 。这些进步使 fyma 能够以合理的价格向客户提供大规模的计算机视觉。
使用计算机视觉（特别是实时）提供物理空间分析涉及的不仅仅是对象检测。据 fyma 软件开发主管 kaarel kivistik 称，“要真正从这些对象中提取一些东西，我们需要在帧之间跟踪它们，并使用某种组件来分析其行为。考虑到每个客户都可以选择自己的模型，建立自己的分析，并根据收集的数据生成报告，一个简单的视频处理管道就成了一个巨大的平台。”
版本 1 ：你好，世界
fyma 从将 opencv 和 ffmpeg 耦合到一个非常简单的 python 应用程序开始。除了他们的神经网络，没有任何硬件加速。当时他们正在使用 yolo v3 和 darknet 。尽管使用了 aws g4dn ，但性能很差，约为每秒 50-60 帧。具有 nvidia tesla t4 gpu （他们继续使用）的 xlarge 实例。应用程序的功能如下：
用于捕获视频的 opencv
具有 python 绑定以检测对象的暗网
自制基于 iou 的多目标跟踪器
虽然实现相当简单，但不足以扩展。表现不佳的原因有三个：
软件视频解码
在进程之间和 cpu / gpu 内存之间复制解码视频帧
软件对输出进行编码，同时在其上绘制检测结果
他们通过硬件视频解码和编码来改进第一个版本。当时，这并没有使整体速度提高多少，因为他们仍然将解码帧从 gpu 复制到 cpu 内存，然后再复制回［z1k］内存。
版本 2 ：自定义 ffmpeg 编码器
在速度方面真正的突破来自自定义 ffmpeg 编码器，它基本上是一个围绕暗网的包装器，将视频帧转换为检测对象。帧速率增加了十倍，因为它们现在在硬件上解码，而不需要在主机和设备内存之间复制视频帧。
但是帧速率的增加意味着他们的部分应用程序现在是用 c 语言编写的，并且由于 ffmpeg 的高度复杂的构建系统而增加了复杂性。尽管如此，他们的新组件不需要太多的改动，并且被证明是相当可靠的。
这个系统的一个缺点是他们现在只能使用暗网。
版本 2.1 ： deepsort
为了提高目标跟踪精度， fyma 用 deepsort 取代了自制的基于 iou 的跟踪器。结果很好，但他们需要更改自定义编码器，以输出对象的视觉特征，以及跟踪所需的边界框。
引入 deepsort 提高了准确性，但也带来了另一个问题：根据视频内容，它有时会使用大量 cpu 内存。为了缓解这个问题，该团队采用了“异步跟踪”。基本上是一种基于工作人员的方法，它涉及每个工作人员使用由边界框组成的元数据，并生成有关对象移动的事件。虽然这解决了 cpu 使用不均衡的问题，但它再次使整个体系结构更加复杂。
版本 3 ： triton 推理服务器
虽然之前的版本表现良好，但 fyma 发现他们仍然无法在每个 gpu 上运行足够的摄像头。他们平台上的每个视频流都有其使用的任何模型的单独副本。如果他们能够减少单个摄像头的内存占用，就有可能从 gpu 实例中挤出更多内存。
fyma 决定重写其应用程序中与 ffmpeg 相关的部分。更具体地说，该应用程序现在通过自定义 python 绑定直接与 ffmpeg 库（ libav ）接口。
这使 fyma 能够将其应用程序连接到 nvidia triton 推理服务器，从而实现摄像机流之间的神经网络共享。为了保持目标检测代码的核心不变，他们将自定义 ffmpeg 编码器代码移到了自定义 triton 后端。
虽然这解决了内存问题，但它将 fyma 应用程序的复杂性提高了至少三倍。
版本 4 ： deepstream
fyma 应用程序的最新版本是基于 gstreamer 和 nvidia deepstream 的完全重写。
kivistik 说：“基于管道的加速 deepstream 组件方法是真正推动我们前进的原因。”。“此外，在不影响性能的情况下，将所有以前基于 c 的东西扔进回收站的乐趣真的令人难以置信。我们接受了 deepstream 提供的一切：解码、编码、推理、跟踪和分析。得益于 nvtracker ，我们恢复了同步跟踪， cpu / gpu 使用率稳定。”
这意味着事件现在几乎是实时到达他们的数据库。以前，这些数据会延迟几个小时，这取决于有多少工作人员在场以及一般的“视觉”负载（整个平台看到了多少对象）。
fyma 的当前实现为每个 gpu 实例运行一个主进程。该主进程依次为添加到平台的每个视频流运行 gstreamer 管道。每个摄像头的内存开销很低，因为所有内容都在一个进程中运行。
关于端到端性能（解码、推断、跟踪、分析）， fyma 实现了高达 10 倍的帧速率（单个视频流约 500 fps ），与第一次实现相比，精度提高了 2-3 倍。 fyma 能够在不到两个月的时间内实施 deepstream 。
kivistik 说：“我想我们终于可以说，我们现在有了一个不那么大的代码库，并且具有可扩展性，因为我们可以轻松地切换模型，改变视频管道和性能。”。
“对于每个想要创建生产级计算机视觉应用程序的软件开发人员或数据科学家来说，使用 deepstream 真的是一件轻而易举的事。”
总结
通过使用 nvidia deepstream ， fyma 能够释放其 ai 模型的威力，提高其 vision ai 应用程序的性能，同时加快开发时间。
关于作者
alvin clark 是 deepstream 的产品营销经理。阿尔文的职业生涯始于设计工程师，然后转向技术销售和市场营销。他曾与多个行业的客户合作，应用范围从卫星系统、外科机器人到深海潜水器。阿尔文持有圣地亚哥加利福尼亚大学的工程学学位，目前正在乔治亚理工大学攻读硕士学位。
kaarel kivistik 领导着 fyma 的软件部门。他拥有超过 10 年的软件开发经验，精通多种语言和环境。他设计并设计了 fyma 平台的工作方式。
一文纵览全球36个AI会议：机器学习十年发展回顾
如何利用3D点编码提升PETRV1/V2及StreamPETR性能
睿思科技发布发布一系列新一代USB Type-C™ 与USB Power Delivery 3.0产品
怎样提高PCB速度
四个方面解读射频电路4大基础特性
使用NVIDIA DeepStream在Fyma解锁视频管道
iPhone 12全线跌破发行价，最高降价达1300元
单片机知识最强科普
想要无线上网更放心，这五个WiFi安全防护措施必不可少！
protel的栅格经验谈
首尔半导体进入全球家居照明市场
CMMB移动数字电视终端设计
析塔SITA金属表面清洁度检测仪在激光焊接空调压缩机的应用
综合布线系统工程学习笔记
蓄电池对UPS电源寿命有何影响
放大器测试与数学知识结合得以使巴伦运转
笔记本外壳材料的重要性谈
简述计算机硬件系统的工作原理及特点
促进自动驾驶技术落地 必须要在保证安全的前提下
RS推出1200种三洋半导体产品
作为一家相对较新的公司， fyma 将视频转换为数据——更具体地说，是物理空间中的运动数据。 fyma 平台每天全天使用客户的实时视频流，并生成移动事件（例如，有人穿过门口或商店过道）。
他们早期学到的一个教训是，他们的视频处理管道必须简单、可扩展，同时具备良好的性能。由于发展资源有限，一开始它们只能拥有这三种资源中的一种。 nvidia deepstream 最近通过缩短开发时间、提高性能和提供优秀的软件组件（如 gstreamer ），解锁了同时拥有这三种功能的能力。
直播视频流的挑战
fyma 专注于消费实时视频流，以简化其客户的实施。客户可能会犹豫是否在其场所安装传感器或任何其他硬件，因为他们已经投资了安全摄像头。由于这些摄像机可以在任何地方， fyma 可以提供不同的对象检测模型，以在不同的环境中最大限度地提高精度。
消费实时视频流在多个方面具有挑战性：
摄像机有时会产生损坏的视频（呈现/解码时间戳跳跃，报告的帧率错误）
网络问题导致视频流冻结、结巴、跳转或脱机
cpu /内存负载分配和规划并不简单
实时视频流是无限的
实时视频流的无限性意味着 fyma 的平台必须至少以帧到达的速度执行计算机视觉。基本上，整个管道必须实时工作。否则，帧将无休止地累积。
幸运的是，在过去几年中，目标检测在速度和准确性方面稳步提高。这意味着每秒可以从 1000 多张图像中检测到物体，而地图的比例超过 90% 。这些进步使 fyma 能够以合理的价格向客户提供大规模的计算机视觉。
使用计算机视觉（特别是实时）提供物理空间分析涉及的不仅仅是对象检测。据 fyma 软件开发主管 kaarel kivistik 称，“要真正从这些对象中提取一些东西，我们需要在帧之间跟踪它们，并使用某种组件来分析其行为。考虑到每个客户都可以选择自己的模型，建立自己的分析，并根据收集的数据生成报告，一个简单的视频处理管道就成了一个巨大的平台。”
版本 1 ：你好，世界
fyma 从将 opencv 和 ffmpeg 耦合到一个非常简单的 python 应用程序开始。除了他们的神经网络，没有任何硬件加速。当时他们正在使用 yolo v3 和 darknet 。尽管使用了 aws g4dn ，但性能很差，约为每秒 50-60 帧。具有 nvidia tesla t4 gpu （他们继续使用）的 xlarge 实例。应用程序的功能如下：
用于捕获视频的 opencv
具有 python 绑定以检测对象的暗网
自制基于 iou 的多目标跟踪器
虽然实现相当简单，但不足以扩展。表现不佳的原因有三个：
软件视频解码
在进程之间和 cpu / gpu 内存之间复制解码视频帧
软件对输出进行编码，同时在其上绘制检测结果
他们通过硬件视频解码和编码来改进第一个版本。当时，这并没有使整体速度提高多少，因为他们仍然将解码帧从 gpu 复制到 cpu 内存，然后再复制回［z1k］内存。
版本 2 ：自定义 ffmpeg 编码器
在速度方面真正的突破来自自定义 ffmpeg 编码器，它基本上是一个围绕暗网的包装器，将视频帧转换为检测对象。帧速率增加了十倍，因为它们现在在硬件上解码，而不需要在主机和设备内存之间复制视频帧。
但是帧速率的增加意味着他们的部分应用程序现在是用 c 语言编写的，并且由于 ffmpeg 的高度复杂的构建系统而增加了复杂性。尽管如此，他们的新组件不需要太多的改动，并且被证明是相当可靠的。
这个系统的一个缺点是他们现在只能使用暗网。
版本 2.1 ： deepsort
为了提高目标跟踪精度， fyma 用 deepsort 取代了自制的基于 iou 的跟踪器。结果很好，但他们需要更改自定义编码器，以输出对象的视觉特征，以及跟踪所需的边界框。
引入 deepsort 提高了准确性，但也带来了另一个问题：根据视频内容，它有时会使用大量 cpu 内存。为了缓解这个问题，该团队采用了“异步跟踪”。基本上是一种基于工作人员的方法，它涉及每个工作人员使用由边界框组成的元数据，并生成有关对象移动的事件。虽然这解决了 cpu 使用不均衡的问题，但它再次使整个体系结构更加复杂。
版本 3 ： triton 推理服务器
虽然之前的版本表现良好，但 fyma 发现他们仍然无法在每个 gpu 上运行足够的摄像头。他们平台上的每个视频流都有其使用的任何模型的单独副本。如果他们能够减少单个摄像头的内存占用，就有可能从 gpu 实例中挤出更多内存。
fyma 决定重写其应用程序中与 ffmpeg 相关的部分。更具体地说，该应用程序现在通过自定义 python 绑定直接与 ffmpeg 库（ libav ）接口。
这使 fyma 能够将其应用程序连接到 nvidia triton 推理服务器，从而实现摄像机流之间的神经网络共享。为了保持目标检测代码的核心不变，他们将自定义 ffmpeg 编码器代码移到了自定义 triton 后端。
虽然这解决了内存问题，但它将 fyma 应用程序的复杂性提高了至少三倍。
版本 4 ： deepstream
fyma 应用程序的最新版本是基于 gstreamer 和 nvidia deepstream 的完全重写。
kivistik 说：“基于管道的加速 deepstream 组件方法是真正推动我们前进的原因。”。“此外，在不影响性能的情况下，将所有以前基于 c 的东西扔进回收站的乐趣真的令人难以置信。我们接受了 deepstream 提供的一切：解码、编码、推理、跟踪和分析。得益于 nvtracker ，我们恢复了同步跟踪， cpu / gpu 使用率稳定。”
这意味着事件现在几乎是实时到达他们的数据库。以前，这些数据会延迟几个小时，这取决于有多少工作人员在场以及一般的“视觉”负载（整个平台看到了多少对象）。
fyma 的当前实现为每个 gpu 实例运行一个主进程。该主进程依次为添加到平台的每个视频流运行 gstreamer 管道。每个摄像头的内存开销很低，因为所有内容都在一个进程中运行。
关于端到端性能（解码、推断、跟踪、分析）， fyma 实现了高达 10 倍的帧速率（单个视频流约 500 fps ），与第一次实现相比，精度提高了 2-3 倍。 fyma 能够在不到两个月的时间内实施 deepstream 。
kivistik 说：“我想我们终于可以说，我们现在有了一个不那么大的代码库，并且具有可扩展性，因为我们可以轻松地切换模型，改变视频管道和性能。”。
“对于每个想要创建生产级计算机视觉应用程序的软件开发人员或数据科学家来说，使用 deepstream 真的是一件轻而易举的事。”
总结
通过使用 nvidia deepstream ， fyma 能够释放其 ai 模型的威力，提高其 vision ai 应用程序的性能，同时加快开发时间。
关于作者
alvin clark 是 deepstream 的产品营销经理。阿尔文的职业生涯始于设计工程师，然后转向技术销售和市场营销。他曾与多个行业的客户合作，应用范围从卫星系统、外科机器人到深海潜水器。阿尔文持有圣地亚哥加利福尼亚大学的工程学学位，目前正在乔治亚理工大学攻读硕士学位。
kaarel kivistik 领导着 fyma 的软件部门。他拥有超过 10 年的软件开发经验，精通多种语言和环境。他设计并设计了 fyma 平台的工作方式。
一文纵览全球36个AI会议：机器学习十年发展回顾
如何利用3D点编码提升PETRV1/V2及StreamPETR性能
睿思科技发布发布一系列新一代USB Type-C™ 与USB Power Delivery 3.0产品
怎样提高PCB速度
四个方面解读射频电路4大基础特性
使用NVIDIA DeepStream在Fyma解锁视频管道
iPhone 12全线跌破发行价，最高降价达1300元
单片机知识最强科普
想要无线上网更放心，这五个WiFi安全防护措施必不可少！
protel的栅格经验谈
首尔半导体进入全球家居照明市场
CMMB移动数字电视终端设计
析塔SITA金属表面清洁度检测仪在激光焊接空调压缩机的应用
综合布线系统工程学习笔记
蓄电池对UPS电源寿命有何影响
放大器测试与数学知识结合得以使巴伦运转
笔记本外壳材料的重要性谈
简述计算机硬件系统的工作原理及特点
促进自动驾驶技术落地 必须要在保证安全的前提下
RS推出1200种三洋半导体产品