NVIDIA 助力火山引擎开源多媒体处理框架 BMF，将抖音、西瓜视频的先进技术推向千行百业
案例介绍
火山引擎通过与 nvidia 团队合作开发了 bmf（babit media framework，多媒体处理框架），提供了丰富的 gpu 即用模块，低门槛的扩展方式，多语言接口以及各类主流框架 sdk 的简单接入，方便用户快速打造高效的全 gpu 视频处理流水线，有效解决开发效率低，链路缺乏整体优化的问题，使得 gpu 能够充分发挥其强大的并行计算能力，应用于各类视频 ai 场景。 视频成为企业数字化增长新动力
在当今人们的生活中，视频化场景已经渗透到了方方面面。questmobile 数据显示，截止到 2023 年 5 月，中国移动视频行业整体用户规模达到 10.76 亿，月人均时长达到 64.2 小时[1]。在艾瑞研究院报告的数据中也显示，目前中国用户量排名前 100 的 app 中，有 69% 搭载了视频类功能，65% 搭载了点播功能，51% 有直播类功能，32% 有实时音视频类功能[2]。视频应用正在从内容、娱乐行业拓展至泛互联网和大量传统行业。
2016 年抖音上线，同年全民直播和短视频时代正式开启。2018 年，业界已经广泛地使用 ai 进行内容理解，视频增强。2019 年则是云游戏的元年，这一年，低延迟成为业务关注焦点。进入 2021 年，市面上已经有大量的基于 ai 的视频增强，特效贴纸，ai 视频编辑的产品出现。如今，以 stable diffusion 和大语言模型（llm） 掀起的生成式 ai 浪潮，正席卷整个行业进入另一个全新时代。gpu 不断增强的计算能力和视频图像处理能力，正好和业界的发展完全契合。与图文内容相比，企业自建视频应用对技术积累和资金成本要求较高。为此，火山引擎与 nvidia 团队合作，开源了 bmf（babit media framework）多媒体处理框架。该框架是视频化部署的“底座”，可为企业提供从视频生产到消费的全链路场景支持，并能协助帮助开发者低成本构建视频应用。
从 gpu 加速图像处理，
到 gpu 上部署生成式 ai 业务
nvidia 自 1999 年发明 gpu 驱动了 pc 游戏市场的增长，并重新定义了现代计算机图形，开启了现代 ai 时代。2012 年，nvidia 在 kepler 架构上添加了硬件视频编解码器，能更好地支持视频串流和直播，也就是现在云游戏和游戏直播的原型。到了 2016 年，以卷积神经网络为代表的深度学习技术为整个图像处理和计算机视觉领域带来革命，nvidia 也顺势推出了用于模型推理的 tensorrt，加速深度学习图像处理。2019 年，为了配合深度学习的发展，nvidia 发布了 nvjpeg，使得 gpu 可以进行图片编解码。2022 年，nvidia 和字节跳动联合开源了 cv-cuda，把加速进一步推进到前后处理。
图 1. gpu 加速图像处理发展历程
但是从图像处理到视频内容生成，并非一蹴而就。
理想情况下，我们以 controlnet 为例，它可以配合 stable diffusion 进行更精细的文生图。如果单纯向 stable diffusion 提供 cute dog 作为 prompt，stable diffusion 会生成形态各异的小狗。但是如果用户想要某一个特定姿势的小狗图片，就需要用更加精细的方式控制生成过程。controlnet 就可以做到这一点。以下图为例，使用 canny edge detector 生成输入图片的轮廓图，检测出的轮廓会和 prompt 一起被输入 controlnet 和 stable diffusion，即可生成姿势样貌相同，但其他细节不同的可爱小狗了。实际上，在其他场景下我们也可以将 canny edge detector 替换成其他的传统图像处理或者 ai 算法，比如使用 pose detector 提取人体姿势。类似的技术还可用于文生图、图生图、image inpainting 等。
图 2. controlnet + stable diffusion
部署这样一个业务具体涉及到哪些模块和环节呢？首先，需要图片和视频的编解码，模型的推理（controlnet/stable diffusion），还有前后处理（canny edge detector）。gpu 有编解码器，可以运行 tensorrt 和 cv-cuda，能够将这些模块一一加速。理想情况下，开发者应当充分利用 gpu 各种的硬件单元，减少 gpu 和 cpu 之间的拷贝，让视频和图片存留在 gpu；如果涉及跨界点通信，如将处理前后的视频在网络和 gpu 之间传输，还需要结合 gpu direct rdma，简化通信链路，大幅降低延迟、提升吞吐。并且开发过程遵循阿姆达尔定律（amdahl's law），将尽可能多的环节加速，整体的性能才能最优。
但实际上，火山引擎视频团队遇到了不同模块之间通信不畅，整体性能不高等诸多问题。本质上是因为视频处理变得越来越复杂，环节越来越多。2000 年 ffmpeg 刚出现的时候，需要面对的编解码需求是非常简单的，单机、个人用户、简单处理、容错要求低、用户耐心强。但是用户对于视频处理的要求已经今非昔比，算法和应用的复杂度越来越高，用户体验要求也越来越高。以前用户在电脑前长时间等待编解码完成的耐心，已经被短视频的秒级延迟，甚至 vr/ar、云游戏这样的毫秒级延迟所取代。视频处理涉及的技术栈也越来越多，包括编解码、图像处理、深度学习甚至图像渲染。
nvidia 加速火山引擎为视频云
提供更理想的处理框架：bmf
面对这些挑战，nvidia 和火山引擎紧密合作开发了 bmf， 旨在帮助企业和开发者将各类视频的原子能力与方案做到优势互补、协同工作和快速落地。多媒体处理框架 bmf 的整体架构分为应用层、框架层、模块层和异构层，共 4 个部分：
应用层：即顶层，为用户提供多语言的 api，包括 python、go、c++，方便用户根据不同的项目需求进行开发集成。
框架层：即中间层，包括框架对 graph / pipeline 的调度、跨数据类型跨设备的数据流转 ackend、以及常用的跨设备 reformat、color space conversion、tensor 算子等 sdk。
模块层：包含了具备各种原子能力的模块，提供多种语言的模块开发机制，用户可根据自身需要将算法/处理实现为 python、go、c++ 语言的任意一种。
异构层：负责提供高效的视频处理算力，包括火山引擎自研的视频编解码芯片 asic 。
图 3. bmf 架构图（绿色高亮表示支持 gpu 加速）
火山引擎通过与 nvidia 团队深入合作，针对 gpu 相关的框架层能力、处理能力进行了深度优化，从框架层和模块层对 bmf 都进行了深入改造，针对各种场景进行了开发和测试，并且贡献了多种应用层示例。bmf 提供了丰富的 gpu 即用模块，低门槛的扩展方式，多语言接口以及各类主流框架 sdk 的简单接入，方便用户快速打造高效的全 gpu 视频处理流水线，有效解决前文所述的开发效率低，链路缺乏整体优化的问题。这一系列的工作，使得 gpu 能够充分发挥其强大的并行计算能力，应用于各类视频 ai 场景。
比如在大型活动直播、电商直播间等场景中，通过“极致超清”技术，能够有效提升画质体验；针对不同损伤情况的经典影片，通过“ai 修复”技术，能够对损伤后的影片进行全面的画质提升；在 vr/ar 等复杂图像场景中，通过“ vr 360° 全景图像技术”帮助图像实现更加高清的效果。
火山引擎总裁谭待表示：“在营销、空间、商业和知识的交互体验都在发生变化的视频化时代，视频云技术因其从视频生产，处理、传输至消费的全链路技术能力被赋予了重要使命。随着 aigc、xr 等技术的兴起，新技术与视频云的融合将带来更多创新和价值。”
字节跳动视频架构负责人、火山引擎视频云架构技术总监王悦表示：“bmf 框架是基于抖音多年实践打磨出来的，火山引擎又携手 nvidia 针对 gpu 相关能力进行了深度优化，使其能够发挥更强大的并行计算能力。“
目前，bmf 已经全面开源，包含 bmf 框架层整体开源、9 个开箱即用案例、20+ api 调用范例，旨在帮助开发者低成本地构建视频应用。
欢迎访问 bmf github （https://github.com/babitmf/bmf）页面，了解更多信息。
数据来源：
[1] 资料来源于 questmobile 研究院《2023 内容视频化与商业化洞察报告》：https://www.questmobile.com.cn/research/report/1678658723797635073 。[2] 资料来源于艾瑞咨询《2022 年中国视频云服务行业研究报告》：https://report.iresearch.cn/report/202207/4038.shtml。 gtc 2024 将于 2024 年 3 月 18 至 21 日在美国加州圣何塞会议中心举行，线上大会也将同期开放。点击 “阅读原文” 或扫描下方海报二维码，关注更多会议及活动信息。
原文标题：nvidia 助力火山引擎开源多媒体处理框架 bmf，将抖音、西瓜视频的先进技术推向千行百业
文章出处：【微信公众号：nvidia英伟达】欢迎添加关注！文章转载请注明出处。
3D电视立体成像分析
机械车间生产管理软件系统在加工中有何意义?
行芯荣登“中国集成电路与半导体领域最具成长性新经济企业TOP10”
电脑闪屏是什么原因，怎么解决？
5G商用前中国移动将承受极大压力
NVIDIA 助力火山引擎开源多媒体处理框架 BMF，将抖音、西瓜视频的先进技术推向千行百业
设计一台物联网模块灯—第二部分
智慧物联网，未来社会前进的方向
面向2030，操作系统的10个演进思考
Goldmoney为比特币BTC提供了一项冷藏服务
集成滤纸的微流控器件用于生物负荷检测
电源管理芯片需求强劲,产能严重紧缺
我国怎么从5G技术标准的领先者，演变为5G网络商用部署时的跟随者呢？
蓝牙信标巡检应用
一文轻松教你玩转西门子V20变频器
基于博流BL606P音视频开发板的音响测试
IGBT基本工作原理
车载传感器网络是什么 智能网联汽车毫米波雷达的作用
iPhone14Pro将涨价100美元 苹果14不香了吗
明明距离路由器很近，但无线网信号依旧很差？
火山引擎通过与 nvidia 团队合作开发了 bmf（babit media framework，多媒体处理框架），提供了丰富的 gpu 即用模块，低门槛的扩展方式，多语言接口以及各类主流框架 sdk 的简单接入，方便用户快速打造高效的全 gpu 视频处理流水线，有效解决开发效率低，链路缺乏整体优化的问题，使得 gpu 能够充分发挥其强大的并行计算能力，应用于各类视频 ai 场景。 视频成为企业数字化增长新动力
在当今人们的生活中，视频化场景已经渗透到了方方面面。questmobile 数据显示，截止到 2023 年 5 月，中国移动视频行业整体用户规模达到 10.76 亿，月人均时长达到 64.2 小时[1]。在艾瑞研究院报告的数据中也显示，目前中国用户量排名前 100 的 app 中，有 69% 搭载了视频类功能，65% 搭载了点播功能，51% 有直播类功能，32% 有实时音视频类功能[2]。视频应用正在从内容、娱乐行业拓展至泛互联网和大量传统行业。
2016 年抖音上线，同年全民直播和短视频时代正式开启。2018 年，业界已经广泛地使用 ai 进行内容理解，视频增强。2019 年则是云游戏的元年，这一年，低延迟成为业务关注焦点。进入 2021 年，市面上已经有大量的基于 ai 的视频增强，特效贴纸，ai 视频编辑的产品出现。如今，以 stable diffusion 和大语言模型（llm） 掀起的生成式 ai 浪潮，正席卷整个行业进入另一个全新时代。gpu 不断增强的计算能力和视频图像处理能力，正好和业界的发展完全契合。与图文内容相比，企业自建视频应用对技术积累和资金成本要求较高。为此，火山引擎与 nvidia 团队合作，开源了 bmf（babit media framework）多媒体处理框架。该框架是视频化部署的“底座”，可为企业提供从视频生产到消费的全链路场景支持，并能协助帮助开发者低成本构建视频应用。
从 gpu 加速图像处理，
到 gpu 上部署生成式 ai 业务
nvidia 自 1999 年发明 gpu 驱动了 pc 游戏市场的增长，并重新定义了现代计算机图形，开启了现代 ai 时代。2012 年，nvidia 在 kepler 架构上添加了硬件视频编解码器，能更好地支持视频串流和直播，也就是现在云游戏和游戏直播的原型。到了 2016 年，以卷积神经网络为代表的深度学习技术为整个图像处理和计算机视觉领域带来革命，nvidia 也顺势推出了用于模型推理的 tensorrt，加速深度学习图像处理。2019 年，为了配合深度学习的发展，nvidia 发布了 nvjpeg，使得 gpu 可以进行图片编解码。2022 年，nvidia 和字节跳动联合开源了 cv-cuda，把加速进一步推进到前后处理。
图 1. gpu 加速图像处理发展历程
但是从图像处理到视频内容生成，并非一蹴而就。
理想情况下，我们以 controlnet 为例，它可以配合 stable diffusion 进行更精细的文生图。如果单纯向 stable diffusion 提供 cute dog 作为 prompt，stable diffusion 会生成形态各异的小狗。但是如果用户想要某一个特定姿势的小狗图片，就需要用更加精细的方式控制生成过程。controlnet 就可以做到这一点。以下图为例，使用 canny edge detector 生成输入图片的轮廓图，检测出的轮廓会和 prompt 一起被输入 controlnet 和 stable diffusion，即可生成姿势样貌相同，但其他细节不同的可爱小狗了。实际上，在其他场景下我们也可以将 canny edge detector 替换成其他的传统图像处理或者 ai 算法，比如使用 pose detector 提取人体姿势。类似的技术还可用于文生图、图生图、image inpainting 等。
图 2. controlnet + stable diffusion
部署这样一个业务具体涉及到哪些模块和环节呢？首先，需要图片和视频的编解码，模型的推理（controlnet/stable diffusion），还有前后处理（canny edge detector）。gpu 有编解码器，可以运行 tensorrt 和 cv-cuda，能够将这些模块一一加速。理想情况下，开发者应当充分利用 gpu 各种的硬件单元，减少 gpu 和 cpu 之间的拷贝，让视频和图片存留在 gpu；如果涉及跨界点通信，如将处理前后的视频在网络和 gpu 之间传输，还需要结合 gpu direct rdma，简化通信链路，大幅降低延迟、提升吞吐。并且开发过程遵循阿姆达尔定律（amdahl's law），将尽可能多的环节加速，整体的性能才能最优。
但实际上，火山引擎视频团队遇到了不同模块之间通信不畅，整体性能不高等诸多问题。本质上是因为视频处理变得越来越复杂，环节越来越多。2000 年 ffmpeg 刚出现的时候，需要面对的编解码需求是非常简单的，单机、个人用户、简单处理、容错要求低、用户耐心强。但是用户对于视频处理的要求已经今非昔比，算法和应用的复杂度越来越高，用户体验要求也越来越高。以前用户在电脑前长时间等待编解码完成的耐心，已经被短视频的秒级延迟，甚至 vr/ar、云游戏这样的毫秒级延迟所取代。视频处理涉及的技术栈也越来越多，包括编解码、图像处理、深度学习甚至图像渲染。
nvidia 加速火山引擎为视频云
提供更理想的处理框架：bmf
面对这些挑战，nvidia 和火山引擎紧密合作开发了 bmf， 旨在帮助企业和开发者将各类视频的原子能力与方案做到优势互补、协同工作和快速落地。多媒体处理框架 bmf 的整体架构分为应用层、框架层、模块层和异构层，共 4 个部分：
应用层：即顶层，为用户提供多语言的 api，包括 python、go、c++，方便用户根据不同的项目需求进行开发集成。
框架层：即中间层，包括框架对 graph / pipeline 的调度、跨数据类型跨设备的数据流转 ackend、以及常用的跨设备 reformat、color space conversion、tensor 算子等 sdk。
模块层：包含了具备各种原子能力的模块，提供多种语言的模块开发机制，用户可根据自身需要将算法/处理实现为 python、go、c++ 语言的任意一种。
异构层：负责提供高效的视频处理算力，包括火山引擎自研的视频编解码芯片 asic 。
图 3. bmf 架构图（绿色高亮表示支持 gpu 加速）
火山引擎通过与 nvidia 团队深入合作，针对 gpu 相关的框架层能力、处理能力进行了深度优化，从框架层和模块层对 bmf 都进行了深入改造，针对各种场景进行了开发和测试，并且贡献了多种应用层示例。bmf 提供了丰富的 gpu 即用模块，低门槛的扩展方式，多语言接口以及各类主流框架 sdk 的简单接入，方便用户快速打造高效的全 gpu 视频处理流水线，有效解决前文所述的开发效率低，链路缺乏整体优化的问题。这一系列的工作，使得 gpu 能够充分发挥其强大的并行计算能力，应用于各类视频 ai 场景。
比如在大型活动直播、电商直播间等场景中，通过“极致超清”技术，能够有效提升画质体验；针对不同损伤情况的经典影片，通过“ai 修复”技术，能够对损伤后的影片进行全面的画质提升；在 vr/ar 等复杂图像场景中，通过“ vr 360° 全景图像技术”帮助图像实现更加高清的效果。
火山引擎总裁谭待表示：“在营销、空间、商业和知识的交互体验都在发生变化的视频化时代，视频云技术因其从视频生产，处理、传输至消费的全链路技术能力被赋予了重要使命。随着 aigc、xr 等技术的兴起，新技术与视频云的融合将带来更多创新和价值。”
字节跳动视频架构负责人、火山引擎视频云架构技术总监王悦表示：“bmf 框架是基于抖音多年实践打磨出来的，火山引擎又携手 nvidia 针对 gpu 相关能力进行了深度优化，使其能够发挥更强大的并行计算能力。“
目前，bmf 已经全面开源，包含 bmf 框架层整体开源、9 个开箱即用案例、20+ api 调用范例，旨在帮助开发者低成本地构建视频应用。
欢迎访问 bmf github （https://github.com/babitmf/bmf）页面，了解更多信息。
数据来源：
[1] 资料来源于 questmobile 研究院《2023 内容视频化与商业化洞察报告》：https://www.questmobile.com.cn/research/report/1678658723797635073 。[2] 资料来源于艾瑞咨询《2022 年中国视频云服务行业研究报告》：https://report.iresearch.cn/report/202207/4038.shtml。 gtc 2024 将于 2024 年 3 月 18 至 21 日在美国加州圣何塞会议中心举行，线上大会也将同期开放。点击 “阅读原文” 或扫描下方海报二维码，关注更多会议及活动信息。
原文标题：nvidia 助力火山引擎开源多媒体处理框架 bmf，将抖音、西瓜视频的先进技术推向千行百业
文章出处：【微信公众号：nvidia英伟达】欢迎添加关注！文章转载请注明出处。
3D电视立体成像分析
机械车间生产管理软件系统在加工中有何意义?
行芯荣登“中国集成电路与半导体领域最具成长性新经济企业TOP10”
电脑闪屏是什么原因，怎么解决？
5G商用前中国移动将承受极大压力
NVIDIA 助力火山引擎开源多媒体处理框架 BMF，将抖音、西瓜视频的先进技术推向千行百业
设计一台物联网模块灯—第二部分
智慧物联网，未来社会前进的方向
面向2030，操作系统的10个演进思考
Goldmoney为比特币BTC提供了一项冷藏服务
集成滤纸的微流控器件用于生物负荷检测
电源管理芯片需求强劲,产能严重紧缺
我国怎么从5G技术标准的领先者，演变为5G网络商用部署时的跟随者呢？
蓝牙信标巡检应用
一文轻松教你玩转西门子V20变频器
基于博流BL606P音视频开发板的音响测试
IGBT基本工作原理
车载传感器网络是什么 智能网联汽车毫米波雷达的作用
iPhone14Pro将涨价100美元 苹果14不香了吗
明明距离路由器很近，但无线网信号依旧很差？