小米技术委标准与新技术部音视频标准总监《互联世界》演讲实录
2020 年 11 月 19 日，第四届 emtech china 全球新兴科技峰会于苏州市相城区召开。作为在全球享有盛誉，以权威见解深度解读全球科技趋势的盛会之一，《麻省理工科技评论》 的 emtech 系列峰会已成为全球最具影响力的科技会议风向标。今年，emtech china 2020 继续以技术与商业的结合为主线，数十位世界顶级科学家、海内外院士、商业领袖、科创精英莅临现场，探讨新兴科技发展现状及其为人类社会带来的巨大影响。此外，《麻省理工科技评论》“50 家聪明公司” 2020 年榜单也在现场重磅发布。
会上，小米技术委标准与新技术部音视频标准总监 mary-luc champel 分享了以《互联世界》为主题的演讲。以下为经过整理的演讲实录：
之前演讲的嘉宾认为我们这些大的互联网公司扼杀了小型的初创公司，其实我们小米的模式是不一样的。小米的模式是建立生态系统，鼓励每个人加入到平台上来。今天我想跟大家介绍一下，类似小米这样的互联网公司，在 5g 服务上的多媒体编码是如何做的，我们有很多的创新，这些创新会影响到大家。
小米的模式是建立生态系统
首先我想给大家介绍一下为什么我们有这样的创新，然后给大家介绍体积视频、未来的 xr 服务以及应用于 5g 服务的视频编解码器。今年很多领域的发展是非常迅猛的，体积视频、未来的 xr 服务是我们日后的发展趋势。再然后我想跟大家介绍一下媒体传输，媒体传输是如何影响未来的。最后我想展望一下未来，也就是看一下 6g 服务未来的发展如何，我相信未来 5-10 年 6g 服务会实现。
现在有层出不穷的新型服务和新型用途，这给我们带来了新的挑战。当然我们还可能有新的媒体形式，比如几年前出现的媒体形式有图片、视频等。现在我们有 3d 视频，3d 视频更加复杂，是加强版的视频，同时还有 vr、ar 以及游戏等。
当然这些新的媒体、新的服务要求我们有更高的带宽、更低的时延。比如玩游戏播放视频时，速度不够快就会有时延；比如现场直播，你关注的足球队正在参加世界杯，如果在临门一角的关键时刻视频卡顿了，观众就会非常着急。现在很多国家的用户需要居家隔离，带宽的使用在大大增加。
一些用户在家办公，他们需要使用视频会议的方式进行交流。另外学生进行在线教育学习时，如果在线学习平台不能支持流畅的视频播放，家长和孩子们肯定会受到很大的影响。娱乐设施也会用到很多的带宽。这些都需要更好的编解码器，更好的带宽管理以及更好的传输解决方案。在小米，我们的任务是克服这些新挑战，以简单易用的方式为我们的用户提供新服务。
现在的视频编解码器普遍使用 h.264 标准，它在 2003 年就被提出来，为什么大家现在还在使用？因为它比较便宜，而且直到现在还是非常强大的技术。在 2013 年，vp9、h.265 (hevc) 标准被制定，相比于 h.264，在同等视频质量下可以节省近 50% 的传输码流。
在 2018 年，一些公司成立了开放媒体联盟（aom）组，提供可免费使用的编解码器 av1，av1 比 hevc 标准下的编解码的性能较好一些。但因为它没有获得足够的硬件支持，所以到目前为止取得了较小的成功。在 2020 年，h.266 (vvc)、mpeg-5 (evc) 和 mpeg-5 (lcevc) 标准被制定，其中，h.266（vvc）标准是由 iso 和 itu 联合制定的。mpeg-5 (evc) 标准是基于历史悠久的工具做的，因此可以免费使用，该标准采用了有限数量的新工具来实现更高的压缩效率。
大家看到的是视频编解码器整体的变化趋势，小米一直在密切关注这种变化趋势，而且关注的重点在 3gpp 领域。3gpp 主要研究面向 5g 服务的视频编解码器（包括下一代编解码器，如 vvc 和 evc）。小米现在也在关注 5g 的发展，我们想看一下未来整个的应用趋势和未来的编解码器解决方案，考虑是否可以在相同视频质量水平下降低所需的压缩码率，或者可以在相同压缩码率下提高视频质量。
另外 3gpp 已经探索出了评估编解码器的多种用途，这些用途包括是不是纯高清流媒体、4k 电视服务、在线游戏、屏幕以及内容分享等等。针对每一个应用都提供了测试序列，在编码时也考虑了操作的限制，比如在有时延的情况下用户很难有愉快的游戏体验。另外对于 avc 和 hevc，我们使用行业公认的衡量标准，公认的衡量标准包括 psnr、ssim 和 vmaf。
二维视频、三维视频和体积视频
在这些领域我们已经花了大概两年多的时间进行研究，接下来我想给大家介绍体积视频，我们之前讲的是二维视频和三维视频，接下来讲的加强版的视频类型是体积视频。体积视频可以移动，当你移动自己的时候就会产生 3d 的体验，用户可以看到不同深度的东西。在这里我们可以看到这个视频，虽然是平面的视频，但是如果你在其中就可以体验到体积效果，感受到体积效果的原因是它支持交互式视差。我们从参考视频和深度图中渲染这些帧，编码的内容包括视频、深度图以及遮挡物体地图，利用这些数据我们可以得到重建帧。
另外，小米在做一些场景描述的工作，如果要让用户有更加丰富的体验，我们必须将视频和音频相结合，而且将 3d 的内容和互动的内容加入其中。目前是没有这样的技术能把这些全都整合到一块。
同样还有一点非常重要，就是我们关注与研究的点云编码 (pcc) 方向，也就是点以及空间的编码。点云中有数不清的点，它可以用于实时直播，你可以让这里面的人物旋转，还可以有渲染的功能。点云也可以应用于 3d 物体，即用于环境监测的雷达，用雷达监测出来的复杂场景可以变成 3d 的点云。3d 点云视频也可以应用在文化遗迹的捕捉上，可以用于保护我们的文物古迹。
mpeg 的 pcc 中有两种技术方法，一种是基于视频的编码方法 vpcc，另一种是基于几何的编码方法 gpcc。vpcc 采用传统的视频编解码器来处理点云，这是非常好的解决方案，这种方法可以用于密集和动态点云的压缩。gpcc 方法适用于稀疏的点云数据，下一代 gpcc 将会支持动态点云。该方法采用几何编码，将点云数据放入一个立方体，该立方体会被划分成 8 个子立方体，根据每个子立方体的空间占用模式对它们进行迭代划分，直至子立方体中只有一个点。
这是我们推导出来的空间占用模式。在编码时，点的查找路径中有很多冗余信息，gpcc 可以帮助减少这些冗余，从而减少编码所需比特，因此 gpcc 是非常有潜力的一种编码方法。上个月 mpeg 刚刚完成了 gpcc 第一版的编码器。可以给大家看一下我们实现的编码方法，大家可以看到小的立方体全都已经被创建出来了，可以逐渐确定它的占用模式。
xr 技术可帮助用户随时随地使用设备
在未来，我们还会看到什么样的技术呢？
比如xr 技术是一项很有意思的技术，可以给用户很多不一样的体验，尤其在线上游戏中会被经常用到，也可以帮助用户在任何时候任何地方使用任何的设备。分布式计算、分割渲染、vr 直播也是重要的应用领域。如果想要一个 360 度的视频，其中会有很多的数据，但是我不知道在我后面的是什么，如果我要快速地旋转，需要把我背后的这些数据都传过来，只有这样才能够使用户有 360 度的视角。依赖于 vr 视角的流媒体可以帮我们预测用户在接下来会有什么样的动作，提前把这些数据进行传输。
另一个方面是媒体传输技术。这里是基于 http cdn 的流媒体，youtube、爱奇艺、腾讯视频、苹果都在采用基于 http cdn 的解决方案。http cdn 要连接起来是非常简单的，客户端能够根据带宽获取质量最高的内容。很多信息或者数据都会被部署在 cdn 上面，由客户端来决定需要获取的内容，可以实时地根据客户端的带宽，直接去下载对应的资源或者内容。
媒体传输还有一种新的技术叫 cmaf，它是一种新的应用格式。内容的提供商对于相同的内容有很多不同的版本、不同的质量以及不同的加密方式，cmaf 可以为所有版本提供共同的格式，可以应用于一些基于 http 的框架，比如 dash 和 hls，所以采用 cmaf 能够有相同的网络分发，去解决客户的需求。客户端可以是独立的，也可以采用支持 hls 或 dash 的网页浏览器。cmaf 是非常有意思的一种技术，因为可以支持 mse，cmaf 可以由 mse 的客户端来进行使用。如果大家对于 cmaf 的媒体传输感兴趣的话，下一个月会有专门的会议，时间大概是半天，我们会具体讨论 cmaf 的一些应用和部署。
5g 的停留和 6g 的展望
最后我想讲一讲 3gpp。一开始我们有移动电话 (1g,2g)，之后我们有了流量数据（3g），有了 3g 之后我们可以通过手机上网，之后有了宽带（4g），我们小小的手机也可以观看或者发起直播。我们现在已经不仅仅用手机打电话了，而是用它上网。现在有了 5g，又有了新的生态系统，紧随其后的是上面接入了很多服务模块。我们不仅停留在 5g，还在展望 6g。
5g 现在在中国已经很流行了，中国很多的公司已经在讲 6g 了。那么 6g 到底是什么？6g 其实就是混合的模块，把我们的物理世界、虚拟世界以及数字世界结合起来，用户则是站在这几个不同世界的中间。这就是我的介绍，谢谢。
原文标题：emtech china现场直击丨小米技术委标准与新技术部音视频标准总监mary-luc champel：小米模式是建立生态系统
文章出处：【微信公众号：deeptech深科技】欢迎添加关注！文章转载请注明出处。
小米生态链企业华米科技明日推新手环：华米Amazfit智能手环
无人出租车入榜2020百度沸点年度科技热词
R&S推出新一代R&S RTP高性能示波器
英特尔贵为处理器巨头 在可穿戴设备市场却再一次失败
打败三星再夺液晶面板销售冠军，LG用了七年
小米技术委标准与新技术部音视频标准总监《互联世界》演讲实录
思瑞浦高性能模拟芯片和嵌入式处理器——TPM650xQ
基于RISC-V的Sipeed Maix Amigo套件PDA (2020)
微波炉使用注意事项,微波炉怎么使用最省电
A股物联网板块强势掀起涨停潮——竟有整整25只个股涨停
手机卡到底是和处理器关系大还是和内存关系大
三星Note7什么时候上市？三星Note7最新消息：一路狂炸的三星Note7即将回归，5.7英寸2K+64G闪存+8890
转子动力学计算术语解析
ST亮相MWC上海：升级版智能座舱，首款USB-IF认证芯片，带你探索未来新科技
英特尔芯片厂开工率降至50%以下 明年进军14纳米工艺
零售市场上最便宜的NVMe固态硬盘之一MyDigitalSSD SBX
多云存储领域的先锋 IBM存储产品复盘
PCB在航空航天工业中的应用
行空板Python入门教程：智慧农业可视化系统
美国奥法特空军将接收一套洲际弹道导弹发射控制系统的训练系统
会上，小米技术委标准与新技术部音视频标准总监 mary-luc champel 分享了以《互联世界》为主题的演讲。以下为经过整理的演讲实录：
之前演讲的嘉宾认为我们这些大的互联网公司扼杀了小型的初创公司，其实我们小米的模式是不一样的。小米的模式是建立生态系统，鼓励每个人加入到平台上来。今天我想跟大家介绍一下，类似小米这样的互联网公司，在 5g 服务上的多媒体编码是如何做的，我们有很多的创新，这些创新会影响到大家。
小米的模式是建立生态系统
首先我想给大家介绍一下为什么我们有这样的创新，然后给大家介绍体积视频、未来的 xr 服务以及应用于 5g 服务的视频编解码器。今年很多领域的发展是非常迅猛的，体积视频、未来的 xr 服务是我们日后的发展趋势。再然后我想跟大家介绍一下媒体传输，媒体传输是如何影响未来的。最后我想展望一下未来，也就是看一下 6g 服务未来的发展如何，我相信未来 5-10 年 6g 服务会实现。
现在有层出不穷的新型服务和新型用途，这给我们带来了新的挑战。当然我们还可能有新的媒体形式，比如几年前出现的媒体形式有图片、视频等。现在我们有 3d 视频，3d 视频更加复杂，是加强版的视频，同时还有 vr、ar 以及游戏等。
当然这些新的媒体、新的服务要求我们有更高的带宽、更低的时延。比如玩游戏播放视频时，速度不够快就会有时延；比如现场直播，你关注的足球队正在参加世界杯，如果在临门一角的关键时刻视频卡顿了，观众就会非常着急。现在很多国家的用户需要居家隔离，带宽的使用在大大增加。
一些用户在家办公，他们需要使用视频会议的方式进行交流。另外学生进行在线教育学习时，如果在线学习平台不能支持流畅的视频播放，家长和孩子们肯定会受到很大的影响。娱乐设施也会用到很多的带宽。这些都需要更好的编解码器，更好的带宽管理以及更好的传输解决方案。在小米，我们的任务是克服这些新挑战，以简单易用的方式为我们的用户提供新服务。
现在的视频编解码器普遍使用 h.264 标准，它在 2003 年就被提出来，为什么大家现在还在使用？因为它比较便宜，而且直到现在还是非常强大的技术。在 2013 年，vp9、h.265 (hevc) 标准被制定，相比于 h.264，在同等视频质量下可以节省近 50% 的传输码流。
在 2018 年，一些公司成立了开放媒体联盟（aom）组，提供可免费使用的编解码器 av1，av1 比 hevc 标准下的编解码的性能较好一些。但因为它没有获得足够的硬件支持，所以到目前为止取得了较小的成功。在 2020 年，h.266 (vvc)、mpeg-5 (evc) 和 mpeg-5 (lcevc) 标准被制定，其中，h.266（vvc）标准是由 iso 和 itu 联合制定的。mpeg-5 (evc) 标准是基于历史悠久的工具做的，因此可以免费使用，该标准采用了有限数量的新工具来实现更高的压缩效率。
大家看到的是视频编解码器整体的变化趋势，小米一直在密切关注这种变化趋势，而且关注的重点在 3gpp 领域。3gpp 主要研究面向 5g 服务的视频编解码器（包括下一代编解码器，如 vvc 和 evc）。小米现在也在关注 5g 的发展，我们想看一下未来整个的应用趋势和未来的编解码器解决方案，考虑是否可以在相同视频质量水平下降低所需的压缩码率，或者可以在相同压缩码率下提高视频质量。
另外 3gpp 已经探索出了评估编解码器的多种用途，这些用途包括是不是纯高清流媒体、4k 电视服务、在线游戏、屏幕以及内容分享等等。针对每一个应用都提供了测试序列，在编码时也考虑了操作的限制，比如在有时延的情况下用户很难有愉快的游戏体验。另外对于 avc 和 hevc，我们使用行业公认的衡量标准，公认的衡量标准包括 psnr、ssim 和 vmaf。
二维视频、三维视频和体积视频
在这些领域我们已经花了大概两年多的时间进行研究，接下来我想给大家介绍体积视频，我们之前讲的是二维视频和三维视频，接下来讲的加强版的视频类型是体积视频。体积视频可以移动，当你移动自己的时候就会产生 3d 的体验，用户可以看到不同深度的东西。在这里我们可以看到这个视频，虽然是平面的视频，但是如果你在其中就可以体验到体积效果，感受到体积效果的原因是它支持交互式视差。我们从参考视频和深度图中渲染这些帧，编码的内容包括视频、深度图以及遮挡物体地图，利用这些数据我们可以得到重建帧。
另外，小米在做一些场景描述的工作，如果要让用户有更加丰富的体验，我们必须将视频和音频相结合，而且将 3d 的内容和互动的内容加入其中。目前是没有这样的技术能把这些全都整合到一块。
同样还有一点非常重要，就是我们关注与研究的点云编码 (pcc) 方向，也就是点以及空间的编码。点云中有数不清的点，它可以用于实时直播，你可以让这里面的人物旋转，还可以有渲染的功能。点云也可以应用于 3d 物体，即用于环境监测的雷达，用雷达监测出来的复杂场景可以变成 3d 的点云。3d 点云视频也可以应用在文化遗迹的捕捉上，可以用于保护我们的文物古迹。
mpeg 的 pcc 中有两种技术方法，一种是基于视频的编码方法 vpcc，另一种是基于几何的编码方法 gpcc。vpcc 采用传统的视频编解码器来处理点云，这是非常好的解决方案，这种方法可以用于密集和动态点云的压缩。gpcc 方法适用于稀疏的点云数据，下一代 gpcc 将会支持动态点云。该方法采用几何编码，将点云数据放入一个立方体，该立方体会被划分成 8 个子立方体，根据每个子立方体的空间占用模式对它们进行迭代划分，直至子立方体中只有一个点。
这是我们推导出来的空间占用模式。在编码时，点的查找路径中有很多冗余信息，gpcc 可以帮助减少这些冗余，从而减少编码所需比特，因此 gpcc 是非常有潜力的一种编码方法。上个月 mpeg 刚刚完成了 gpcc 第一版的编码器。可以给大家看一下我们实现的编码方法，大家可以看到小的立方体全都已经被创建出来了，可以逐渐确定它的占用模式。
xr 技术可帮助用户随时随地使用设备
在未来，我们还会看到什么样的技术呢？
比如xr 技术是一项很有意思的技术，可以给用户很多不一样的体验，尤其在线上游戏中会被经常用到，也可以帮助用户在任何时候任何地方使用任何的设备。分布式计算、分割渲染、vr 直播也是重要的应用领域。如果想要一个 360 度的视频，其中会有很多的数据，但是我不知道在我后面的是什么，如果我要快速地旋转，需要把我背后的这些数据都传过来，只有这样才能够使用户有 360 度的视角。依赖于 vr 视角的流媒体可以帮我们预测用户在接下来会有什么样的动作，提前把这些数据进行传输。
另一个方面是媒体传输技术。这里是基于 http cdn 的流媒体，youtube、爱奇艺、腾讯视频、苹果都在采用基于 http cdn 的解决方案。http cdn 要连接起来是非常简单的，客户端能够根据带宽获取质量最高的内容。很多信息或者数据都会被部署在 cdn 上面，由客户端来决定需要获取的内容，可以实时地根据客户端的带宽，直接去下载对应的资源或者内容。
媒体传输还有一种新的技术叫 cmaf，它是一种新的应用格式。内容的提供商对于相同的内容有很多不同的版本、不同的质量以及不同的加密方式，cmaf 可以为所有版本提供共同的格式，可以应用于一些基于 http 的框架，比如 dash 和 hls，所以采用 cmaf 能够有相同的网络分发，去解决客户的需求。客户端可以是独立的，也可以采用支持 hls 或 dash 的网页浏览器。cmaf 是非常有意思的一种技术，因为可以支持 mse，cmaf 可以由 mse 的客户端来进行使用。如果大家对于 cmaf 的媒体传输感兴趣的话，下一个月会有专门的会议，时间大概是半天，我们会具体讨论 cmaf 的一些应用和部署。
5g 的停留和 6g 的展望
最后我想讲一讲 3gpp。一开始我们有移动电话 (1g,2g)，之后我们有了流量数据（3g），有了 3g 之后我们可以通过手机上网，之后有了宽带（4g），我们小小的手机也可以观看或者发起直播。我们现在已经不仅仅用手机打电话了，而是用它上网。现在有了 5g，又有了新的生态系统，紧随其后的是上面接入了很多服务模块。我们不仅停留在 5g，还在展望 6g。
5g 现在在中国已经很流行了，中国很多的公司已经在讲 6g 了。那么 6g 到底是什么？6g 其实就是混合的模块，把我们的物理世界、虚拟世界以及数字世界结合起来，用户则是站在这几个不同世界的中间。这就是我的介绍，谢谢。
原文标题：emtech china现场直击丨小米技术委标准与新技术部音视频标准总监mary-luc champel：小米模式是建立生态系统
文章出处：【微信公众号：deeptech深科技】欢迎添加关注！文章转载请注明出处。
小米生态链企业华米科技明日推新手环：华米Amazfit智能手环
无人出租车入榜2020百度沸点年度科技热词
R&S推出新一代R&S RTP高性能示波器
英特尔贵为处理器巨头 在可穿戴设备市场却再一次失败
打败三星再夺液晶面板销售冠军，LG用了七年
小米技术委标准与新技术部音视频标准总监《互联世界》演讲实录
思瑞浦高性能模拟芯片和嵌入式处理器——TPM650xQ
基于RISC-V的Sipeed Maix Amigo套件PDA (2020)
微波炉使用注意事项,微波炉怎么使用最省电
A股物联网板块强势掀起涨停潮——竟有整整25只个股涨停
手机卡到底是和处理器关系大还是和内存关系大
三星Note7什么时候上市？三星Note7最新消息：一路狂炸的三星Note7即将回归，5.7英寸2K+64G闪存+8890
转子动力学计算术语解析
ST亮相MWC上海：升级版智能座舱，首款USB-IF认证芯片，带你探索未来新科技
英特尔芯片厂开工率降至50%以下 明年进军14纳米工艺
零售市场上最便宜的NVMe固态硬盘之一MyDigitalSSD SBX
多云存储领域的先锋 IBM存储产品复盘
PCB在航空航天工业中的应用
行空板Python入门教程：智慧农业可视化系统
美国奥法特空军将接收一套洲际弹道导弹发射控制系统的训练系统