利用机器学习来实现低延迟移动VR图形的案例
facebook人工智能研究院日前通过博文简述了如何通过集成式机器学习来实现低延迟的移动vr图形。具体来说，团队介绍了一个为vr一体机的渲染管道运行机器学习的全新低延迟高效能框架。这个架构允许所述设备利用机器学习来显著提升图像质量和视频渲染。
研究人员根据这一框架创建了一个示例应用，它能够重建更高分辨率的渲染（称为超分辨率），以最少的计算资源提高移动芯片组的vr图形保真度。这个全新框架同时可以用于执行面向的流式传输内容时的压缩伪影去除，帧预测，特征分析，以及针对引导式注视点渲染的反馈。
1. 工作原理
在典型的移动vr渲染系统中，应用引擎在每个帧的开头检索运动追踪数据，并使用所述信息为每只眼睛生成图像。为了支持vr应用的有效工作，系统通常会严格限制整个图形管道的处理时间。例如为了90hz的刷新率，两个眼图缓冲区的渲染时间预算为11毫秒。
为了克服所述限制，团队研发的新架构减轻了模型执行的负担，所以专用处理器能够实现异步化。在这种设计中，数字信号处理器（dsp）或神经处理单元（npu）与图形处理单元（gpu）实现管道化，并获取部分渲染缓冲区或整个渲染缓冲区以进行进一步的处理。系统异步拾取内容，方式是在将其发送到显示器之前gpu为延迟补偿而扭曲线程。
上图说明了如何在图形显示管道中将dsp的机器学习模型执行与其他处理器并行化。
为了提高性能，facebook修改了操作系统中的图形内存分配系统，将专用分配器用于gpu-dsp共享内存。这比直接映射更为有效，因为图形帧缓冲区通常是优化仅gpu的访问（并且在cpu上的表现不佳），同时需要特殊的内存注册过程来避免在运行时通过远程调用所进行的复制。
团队使用所述示例应用对管道进行了测试，它应用了深度学习来改善中心区域的图像质量，但对场景其他部分使用了更高效，分辨率更低的渲染。超分辨内容在异步时间扭曲中与周围区域混合。如果在每个方向上将分辨率降低大约70％，则可以节省大约40％的gpu时间，并且开发者可以使用节省的资源来生成更优的内容。为了在vr中实现时间连贯且视觉愉悦的结果，facebook通过专门设计的时间损失函数来训练循环网络。
2. 意义
创建下一代vr和ar体验需要寻找新的、更有效的方法来渲染高质量低延迟图形。由于时间伪影更易感知，vr头显中的低视觉暂留显示器难以接受传统的渲染和超分辨率技术。facebook人工智能团队提供了利用ai来帮助移动芯片设备应对所述挑战的一种新方法。
他们表示：“除了ar/vr应用外，通过消除内存限制并在图像质量增强，伪影去除和帧外推等方面实现其他创新，我们相信这个新框架可以为移动计算图形领域的创新打开大门。”
测土配方施肥仪的市场价格是多少
台积电2016年营收创纪录，增长还能保持多久？
深入探讨区块链各种共识机制
什么是惯性导航？它的应用是什么
Micron的消费品牌Crucial推出了两条新的NVMe SSD产品线
利用机器学习来实现低延迟移动VR图形的案例
吉利在2020年之前计划完成180万辆的新能源汽车销量目标
阻抗与频率成反比的元件有哪些？
GPRS数据传送服务的无线通信控制器设计
基于中微爱芯CS1622的手持终端LCD驱动电路
华为G9Plus发布半年就降了1000元，这款满血骁龙821该入手吗？
经纬恒润携手一汽红旗开启战略合作新模式
基于RK2706的RFID智能导游系统设计
【推荐】航空插头-圆形连接器专题
镉镍电池原理_镉镍电池优缺点
物联网“碎片化”共识 ARM与英特尔道同路不同
汽车LED照明厂商通宝光电拟A股IPO 已进行上市辅导备案
通过PCB观察医疗设备开发遇到的挑战
专家介绍:太阳能电池板
一文浅谈Graph Transformer领域近期研究进展
研究人员根据这一框架创建了一个示例应用，它能够重建更高分辨率的渲染（称为超分辨率），以最少的计算资源提高移动芯片组的vr图形保真度。这个全新框架同时可以用于执行面向的流式传输内容时的压缩伪影去除，帧预测，特征分析，以及针对引导式注视点渲染的反馈。
1. 工作原理
在典型的移动vr渲染系统中，应用引擎在每个帧的开头检索运动追踪数据，并使用所述信息为每只眼睛生成图像。为了支持vr应用的有效工作，系统通常会严格限制整个图形管道的处理时间。例如为了90hz的刷新率，两个眼图缓冲区的渲染时间预算为11毫秒。
为了克服所述限制，团队研发的新架构减轻了模型执行的负担，所以专用处理器能够实现异步化。在这种设计中，数字信号处理器（dsp）或神经处理单元（npu）与图形处理单元（gpu）实现管道化，并获取部分渲染缓冲区或整个渲染缓冲区以进行进一步的处理。系统异步拾取内容，方式是在将其发送到显示器之前gpu为延迟补偿而扭曲线程。
上图说明了如何在图形显示管道中将dsp的机器学习模型执行与其他处理器并行化。
为了提高性能，facebook修改了操作系统中的图形内存分配系统，将专用分配器用于gpu-dsp共享内存。这比直接映射更为有效，因为图形帧缓冲区通常是优化仅gpu的访问（并且在cpu上的表现不佳），同时需要特殊的内存注册过程来避免在运行时通过远程调用所进行的复制。
团队使用所述示例应用对管道进行了测试，它应用了深度学习来改善中心区域的图像质量，但对场景其他部分使用了更高效，分辨率更低的渲染。超分辨内容在异步时间扭曲中与周围区域混合。如果在每个方向上将分辨率降低大约70％，则可以节省大约40％的gpu时间，并且开发者可以使用节省的资源来生成更优的内容。为了在vr中实现时间连贯且视觉愉悦的结果，facebook通过专门设计的时间损失函数来训练循环网络。
2. 意义
创建下一代vr和ar体验需要寻找新的、更有效的方法来渲染高质量低延迟图形。由于时间伪影更易感知，vr头显中的低视觉暂留显示器难以接受传统的渲染和超分辨率技术。facebook人工智能团队提供了利用ai来帮助移动芯片设备应对所述挑战的一种新方法。
他们表示：“除了ar/vr应用外，通过消除内存限制并在图像质量增强，伪影去除和帧外推等方面实现其他创新，我们相信这个新框架可以为移动计算图形领域的创新打开大门。”
测土配方施肥仪的市场价格是多少
台积电2016年营收创纪录，增长还能保持多久？
深入探讨区块链各种共识机制
什么是惯性导航？它的应用是什么
Micron的消费品牌Crucial推出了两条新的NVMe SSD产品线
利用机器学习来实现低延迟移动VR图形的案例
吉利在2020年之前计划完成180万辆的新能源汽车销量目标
阻抗与频率成反比的元件有哪些？
GPRS数据传送服务的无线通信控制器设计
基于中微爱芯CS1622的手持终端LCD驱动电路
华为G9Plus发布半年就降了1000元，这款满血骁龙821该入手吗？
经纬恒润携手一汽红旗开启战略合作新模式
基于RK2706的RFID智能导游系统设计
【推荐】航空插头-圆形连接器专题
镉镍电池原理_镉镍电池优缺点
物联网“碎片化”共识 ARM与英特尔道同路不同
汽车LED照明厂商通宝光电拟A股IPO 已进行上市辅导备案
通过PCB观察医疗设备开发遇到的挑战
专家介绍:太阳能电池板
一文浅谈Graph Transformer领域近期研究进展