所谓虚拟现实,就是要欺骗人的眼睛和大脑,让虚拟世界感觉跟真实世界一样。目前好的vr产品已经在这方面做得相当不错了,但仍有进步空间。下面要说的就是一项可以让虚拟世界更好模拟真实世界的技术。
人眼看世界与vr渲染方式
人眼能看到的范围是有限的,因此产生了一个名词叫人眼视度。人眼视度指的是人不动头时的可视角度。我们身处一个360度环绕的世界,但任何时候我们只能查看120度视度范围内的事物,并且我们的双眼会聚焦在视野中一小块不超过6度的区域(中央凹+近中央凹视野),周围则是模糊的(周边视野),这就是我们看世界的方式。
顶级的vr头显(htc vive、oculus rift)的可视角度能达到110度左右(与眼睛和屏幕之间的距离有关),与人眼视度非常接近。我们在vr头显中看到的世界,也只是它的屏幕所显示内容的一部分,而真正聚焦的更是这一小部分中的一小块区域。但是vr设备在渲染画面时却是对整个视野进行渲染,不在人眼聚焦的画面一样在以相同的速度刷新。
由于vr设备的高分辨率和刷新率,这种渲染方式需要消耗大量的gpu资源,使得pc平台的头盔对显卡要求很高(通常在gtx 970以上),而移动vr则很难达到良好的体验。
不过,一些公司已经在着手解决问题,nvidia推出了mrs(multi-resolution shading)技术,国内公司七鑫易维则希望在此基础上加入焦点渲染(foveated rendering)技术。
分区渲染的mrs
去年5月,nvidia在自家针对vr的开发者套件gameworks vr中加入了mrs技术。这项技术使得针对vr的渲染不再是将整个画面以相同的分辨率进行渲染,而是分成了几个不同的区域。
画面的中央,也就是人眼在vr中看到的主要区域,也是画面没有畸变的地方,会以完整的高分辨率进行渲染;而画面的边缘则以更低质量进行渲染,再加上边缘的像素经过变形后的损失,可以节省25%-50%的像素,理论上可以提升一倍的渲染效果。
使用nvidia maxwell架构的显卡,包括geforce titan x和gtx 900系列,目前都支持这一技术。
在接受采访时,nvidia全球副总裁、中国区总经理张建中也对这项技术进行了解释:
传统的眼镜都是鱼眼的,传统的gpu渲染的是长方形,长方形变成鱼眼,用传统的方法去渲染是不行的。所以我们想了一个比较聪明的方法,我们把视觉图形分成九块,用不同的方式去渲染,这样把效率提高大概50%左右。结果就相当于以前可能一秒钟渲染90帧,现在可以做到140帧左右,这样你就可以看到更高清晰度。
焦点渲染
国内创业公司七鑫易维目前正与nvidia合作,在mrs技术的基础之上,使用眼球追踪技术进一步开发出焦点渲染技术(也叫注视点渲染),从而进一步缩小高清渲染画面的区域。
据七鑫易维ceo黄通兵介绍,焦点渲染通过近红外传感器对人的眼球进行追踪,判断人眼的注视点,只对注视点区域进行高清渲染,而且这个区域会随着注视点的变化而变化。
官方表示这个方案可以在保证用户体验的情况下,将渲染像素降低到mrs方案的10%左右,最终适配vr设备的pc比例可以提升至30%。
眼球追踪会对整个画面渲染带来延迟,黄通兵表示他们解决了这个问题,他表示目前追踪技术最高可以做到380hz的刷新率,如果以通常提供的220hz计算,会给渲染带来5ms的延时。但是,由于使用焦点渲染,gpu的负担减轻,使得其渲染延时可以降低至5ms,最终使得整体延时仍然低于20ms的坎。
这项技术也仍有一些问题需要解决,包括针对戴眼镜的用户,眼镜会影响眼球追踪的效果;还有htc vive这类产品使用的菲涅尔透镜,其同心圆也会干扰到信号。
国际上亦有厂商在开发类似的技术,包括tobii、smi、fove和eyefluence,但是这个领域还没有形成标准。
目前七鑫易维除了跟nvidia合作外,也在跟高通、htc、oculus以及国内vr头显厂商合作研究这项技术,具体的产品面世时间仍有待确定,但据悉高通的一体机方案会重点推这个技术,国内的大朋和3glasses也很积极。
果蔬机有用吗?科技解决农药残留!
特斯拉电池技术或将成为美国动力电池产业的“救命稻草”
ABB与微链科技签署战略合作协议
基于LM567的无线通信电路设计
机器视觉和安防究竟有着怎样的关系?
GPU性能不够跑VR?
四川泰克示波器DPO3054自校准SPC失败维修
科学家研制出的全新无线电接收器DESHIMA
家里照明的灯一会儿特别亮一会特别暗,是什么原因?
魅族正式发布16sPro 2699元起售
中国移动担当网络强国数字中国智慧社会主力军的六个方面工作
拥有旗舰配置却没有旗舰机的命,乐视乐S34G+32G+十核处理器840元没人要
基于5G工业物联网云平台的智能刀具生产管理系统
Altera 在2015年度技术日展示 电子系统设计的突破性解决方案
综合保护器的工作原理及接线图分析
普罗迪推出的荧光光纤温度传感器技术
PCB等零组件厂商两大策略减小手机厂商重复下单风险
电动汽车对锂离子电池为何还存在巨大需求
高速无刷直流电机霍尔板在高速无刷直流三相电机上是一个什么样的角色
Nexperia凭借600 V器件进入IGBT市场