CV-CUDA 助力腾讯云音视频 PaaS 平台实现视频增强 AI 全流程 GPU 加速
案例介绍
腾讯云音视频 paas 平台与 nvidia 团队合作，利用 cv-cuda 加速视频增强 ai 工作管线中的前后处理模块，结合 nvidia tensorrt，将视频增强 ai 全流程置于 gpu 上进行加速，前后处理部分效率提升 16% - 38%。 客户简介
腾讯云音视频 paas 平台（以下简称腾讯视频云）专注技术产品，构建了行业中极速高清智能转码、超低时延快直播的音视频解决方案，已连续四年居于市场份额和解决方案首位[1]，在音视频领域已有超过 21 年的技术积累，腾讯云音视频已持续支持国内 90% 的音视频客户。其中腾讯云 mps 媒体处理服务为海内外客户提供全场景极速高清转码，音视频增强，专有云 codec sdk 等服务，在近期全球 msu 云端编码大赛及 slc 评测中，所参评项目均取得了第一名的好成绩[2]。
使用 gpu 加速视频增强 ai 全流程
本案例中，腾讯云音视频 paas 平台与 nvidia 团队合作，利用 cv-cuda 加速视频增强 ai 工作管线中的前后处理模块，结合 nvidia tensorrt，将视频增强 ai 全流程置于 gpu 上进行加速。集成 cv-cuda 后相比加速前，前后处理部分效率提升 16% - 38%，端到端效率提升 6% - 10%。
加速画质增强全链路工作管线的挑战
画质增强是腾讯视频云提供的主要视频类云服务之一，其通过 3d 去噪、色彩增强、超分辨率、插帧等处理技术，有效处理噪点、马赛克、抖动、顿挫感等问题，提高画面清晰度，让画质重生。该服务的工作管线基于 ffmpeg filter 构建，整体工作流如下图所示：
图 1. 画质增强工作管线示意图
该服务中应用了三种主要的 ai 模型，包括：去噪模型、色彩增强模型以及超分辨率模型。这些模型的工作管线中，除模型推理外，还包含了一系列前后处理操作，包括：yuv2rgb、copymakeborder、normalize、hwc2chw、chw2hwc、float2uint8、rgb2yuv 等。
此前，这些前后处理操作使用自定义的 cuda 算子在 gpu 上处理或使用 opencv 在 cpu 上处理，计算效率并不理想。一方面，这使得前后处理在整个工作管线中占据了可观的开销；另一方面，前后处理可能增加 cpu 负载，影响 cpu 上其他任务的执行效率。因此，如何尽可能地节省前后处理引入的开销，缓解 cpu 负载，成为了加速画质增强全链路工作管线的挑战。
视频增强 ai 前后处理效率提升 16% - 38%
腾讯视频云与 nvidia 合作，将 cv-cuda 集成进去噪模型、色彩增强模型和超分辨率模型的工作流中，替换原有的 cuda 算子及 opencv cpu 算子，从而加速前后处理部分的计算效率，提升 ai 任务端到端的推理效率。下表展示了对于 1080p 输入图像，应用 cv-cuda 前后，上述三种模型工作管线的处理速度（单位：ms）:
图 2. 使用 cv-cuda 后，处理
1080p 输入图像的效率提升效果
可以观察到，使用 cv-cuda 后，三种模型的前后处理部分的计算效率有了不同程度的加速，模型整体性能也得以提升。此种性能提升尤其在前后处理耗时占比大的任务中将更加明显。
持续合作，实现视频 ai 全链路 gpu 加速
腾讯视频云未来将持续与 nvidia 合作，对提升视频增强服务处理效率方面进行不断地探索。例如，双方将共同尝试引入 tensorrt 最新的特性，进一步加速视频增强各类模型的推理性能；另外，双方将继续推动利用 cv-cuda 加速更多视频类工作管线的处理，实现视频 ai 全链路 gpu 加速。
准备好开始了吗？
cv-cuda 抢先体验开发者申请：
https://developer.nvidia.cn/zh-cn/cv-cuda/early-access
[1] 资料来源于腾讯云音讯频开发者社区官网，其数据来源于国际数据公司（idc）发布的《中国视频云市场跟踪(2021 上半年) 》https://cloud.tencent.com/developer/article/2046119。 [2] 资料来源于腾讯云音讯频开发者社区官网，据莫斯科国立大学（moscowstate university）于 2021 年与 2022 年举办的 msu 云端视频转码大赛（cloudvideo transcoding services comparison）成绩公布https://cloud.tencent.com/developer/article/1794385; https://cloud.tencent.com/developer/article/2057612 。
点击 “阅读原文”，或扫描下方海报二维码，在 8 月 8 日聆听 nvidia 创始人兼 ceo 黄仁勋在 siggraph 现场发表的 nvidia 主题演讲，了解 nvidia 的新技术，包括屡获殊荣的研究，openusd 开发，以及最新的 ai 内容创作解决方案。
原文标题：cv-cuda 助力腾讯云音视频 paas 平台实现视频增强 ai 全流程 gpu 加速
文章出处：【微信公众号：nvidia英伟达】欢迎添加关注！文章转载请注明出处。
启用可信传感器和用于物联网应用
国星光电成功入选广东省智能制造生态合作伙伴
人工智能需要法律走在前面吗
如何防止区块链行业的诈骗手段空手套
平板电脑实现三大领域融合趋势
CV-CUDA 助力腾讯云音视频 PaaS 平台实现视频增强 AI 全流程 GPU 加速
恩智浦半导体推出近距离非接触式读卡器IC CLRC663
电网变革，泛在电力物联网提供的推动力
cd4013双d触发器电路图
RFID消防仓库智能化管理系统的特点是什么
Ubuntu支持Windows的WSL后能保持领先优势吗
京东方取得显示面板制备及显示方法专利
晶粒度及其对材料性能的影响
一加5什么时候上市？一加5最新消息：一加5要来了：双摄+骁龙835！但8GB内存有必要吗？
滞回比较器介绍 滞回比较器高低阈值计算
Imagen 2 现已在 Vertex AI 上全面推出
3G切换导致洗牌,IDH价值迷失
如何选用滤波电容
数字化工作区可以改善员工体验？
高活性生物质碳负载Fe/Pt单原子双功能催化剂开发
腾讯云音视频 paas 平台与 nvidia 团队合作，利用 cv-cuda 加速视频增强 ai 工作管线中的前后处理模块，结合 nvidia tensorrt，将视频增强 ai 全流程置于 gpu 上进行加速，前后处理部分效率提升 16% - 38%。 客户简介
腾讯云音视频 paas 平台（以下简称腾讯视频云）专注技术产品，构建了行业中极速高清智能转码、超低时延快直播的音视频解决方案，已连续四年居于市场份额和解决方案首位[1]，在音视频领域已有超过 21 年的技术积累，腾讯云音视频已持续支持国内 90% 的音视频客户。其中腾讯云 mps 媒体处理服务为海内外客户提供全场景极速高清转码，音视频增强，专有云 codec sdk 等服务，在近期全球 msu 云端编码大赛及 slc 评测中，所参评项目均取得了第一名的好成绩[2]。
使用 gpu 加速视频增强 ai 全流程
本案例中，腾讯云音视频 paas 平台与 nvidia 团队合作，利用 cv-cuda 加速视频增强 ai 工作管线中的前后处理模块，结合 nvidia tensorrt，将视频增强 ai 全流程置于 gpu 上进行加速。集成 cv-cuda 后相比加速前，前后处理部分效率提升 16% - 38%，端到端效率提升 6% - 10%。
加速画质增强全链路工作管线的挑战
画质增强是腾讯视频云提供的主要视频类云服务之一，其通过 3d 去噪、色彩增强、超分辨率、插帧等处理技术，有效处理噪点、马赛克、抖动、顿挫感等问题，提高画面清晰度，让画质重生。该服务的工作管线基于 ffmpeg filter 构建，整体工作流如下图所示：
图 1. 画质增强工作管线示意图
该服务中应用了三种主要的 ai 模型，包括：去噪模型、色彩增强模型以及超分辨率模型。这些模型的工作管线中，除模型推理外，还包含了一系列前后处理操作，包括：yuv2rgb、copymakeborder、normalize、hwc2chw、chw2hwc、float2uint8、rgb2yuv 等。
此前，这些前后处理操作使用自定义的 cuda 算子在 gpu 上处理或使用 opencv 在 cpu 上处理，计算效率并不理想。一方面，这使得前后处理在整个工作管线中占据了可观的开销；另一方面，前后处理可能增加 cpu 负载，影响 cpu 上其他任务的执行效率。因此，如何尽可能地节省前后处理引入的开销，缓解 cpu 负载，成为了加速画质增强全链路工作管线的挑战。
视频增强 ai 前后处理效率提升 16% - 38%
腾讯视频云与 nvidia 合作，将 cv-cuda 集成进去噪模型、色彩增强模型和超分辨率模型的工作流中，替换原有的 cuda 算子及 opencv cpu 算子，从而加速前后处理部分的计算效率，提升 ai 任务端到端的推理效率。下表展示了对于 1080p 输入图像，应用 cv-cuda 前后，上述三种模型工作管线的处理速度（单位：ms）:
图 2. 使用 cv-cuda 后，处理
1080p 输入图像的效率提升效果
可以观察到，使用 cv-cuda 后，三种模型的前后处理部分的计算效率有了不同程度的加速，模型整体性能也得以提升。此种性能提升尤其在前后处理耗时占比大的任务中将更加明显。
持续合作，实现视频 ai 全链路 gpu 加速
腾讯视频云未来将持续与 nvidia 合作，对提升视频增强服务处理效率方面进行不断地探索。例如，双方将共同尝试引入 tensorrt 最新的特性，进一步加速视频增强各类模型的推理性能；另外，双方将继续推动利用 cv-cuda 加速更多视频类工作管线的处理，实现视频 ai 全链路 gpu 加速。
准备好开始了吗？
cv-cuda 抢先体验开发者申请：
https://developer.nvidia.cn/zh-cn/cv-cuda/early-access
[1] 资料来源于腾讯云音讯频开发者社区官网，其数据来源于国际数据公司（idc）发布的《中国视频云市场跟踪(2021 上半年) 》https://cloud.tencent.com/developer/article/2046119。 [2] 资料来源于腾讯云音讯频开发者社区官网，据莫斯科国立大学（moscowstate university）于 2021 年与 2022 年举办的 msu 云端视频转码大赛（cloudvideo transcoding services comparison）成绩公布https://cloud.tencent.com/developer/article/1794385; https://cloud.tencent.com/developer/article/2057612 。
点击 “阅读原文”，或扫描下方海报二维码，在 8 月 8 日聆听 nvidia 创始人兼 ceo 黄仁勋在 siggraph 现场发表的 nvidia 主题演讲，了解 nvidia 的新技术，包括屡获殊荣的研究，openusd 开发，以及最新的 ai 内容创作解决方案。
原文标题：cv-cuda 助力腾讯云音视频 paas 平台实现视频增强 ai 全流程 gpu 加速
文章出处：【微信公众号：nvidia英伟达】欢迎添加关注！文章转载请注明出处。
启用可信传感器和用于物联网应用
国星光电成功入选广东省智能制造生态合作伙伴
人工智能需要法律走在前面吗
如何防止区块链行业的诈骗手段空手套
平板电脑实现三大领域融合趋势
CV-CUDA 助力腾讯云音视频 PaaS 平台实现视频增强 AI 全流程 GPU 加速
恩智浦半导体推出近距离非接触式读卡器IC CLRC663
电网变革，泛在电力物联网提供的推动力
cd4013双d触发器电路图
RFID消防仓库智能化管理系统的特点是什么
Ubuntu支持Windows的WSL后能保持领先优势吗
京东方取得显示面板制备及显示方法专利
晶粒度及其对材料性能的影响
一加5什么时候上市？一加5最新消息：一加5要来了：双摄+骁龙835！但8GB内存有必要吗？
滞回比较器介绍 滞回比较器高低阈值计算
Imagen 2 现已在 Vertex AI 上全面推出
3G切换导致洗牌,IDH价值迷失
如何选用滤波电容
数字化工作区可以改善员工体验？
高活性生物质碳负载Fe/Pt单原子双功能催化剂开发