浅谈眼球追踪解决VR/AR三大问题
眼球追踪就是这样一个让机器人更懂人类的技术。
眼球追踪主要是研究眼球运动信息的获取、建模和模拟。一是根据眼球和眼球周边的特征变化进行跟踪，二是根据虹膜角度变化进行跟踪，三是主动投射红外线等光束到虹膜来提取特征。
早在2012年，眼控技术研究科技公司tobii宣布研发出了适配windows 8的眼控gaze界面。这是一家做眼球追踪技术较早的瑞典公司。2007年公司估值1400万美元，2009年则达到了2680万美元。2012年，英特尔注资2100万美元进tobii公司，也是出于对windows 8操作系统一次投资。2014年，tobii 推出了第二代智能眼镜 glass 2，利用每个镜片配备 2 个摄像头以及相应的软件技术，实现对眼球动作的精准捕捉。
tobii 智能眼镜
英特尔虽然很早就收购了眼球追踪的公司，但是经过多年，眼球追踪依然未成为笔记本电脑的核心交互方式。而vr的发展却让我们看到了眼球追踪技术应用的更多的可能性。
眼球追踪解决vr/ar三大问题 oculus的创始人palmer luckey曾表示，眼部跟踪技术会成为vr技术未来的一个“重要组成部分”。不仅能实现注视点渲染技术，它还能用来创造一种视觉深度，以创作出更好的用户界面。
（1）减少眩晕
vr要带给人沉浸感，就要做到能让人在虚拟空间里自然运动，这需要通过运动追踪来改变场景的呈现。目前的vr设备主要是利用空间定位技术来捕捉人的身体的位置运动，用惯性传感器来捕捉人的头部的运动，人在转动头部时，视角会发生相应的变化。
但是这只是比较初级的动作捕捉，人其实大多数时候都是通过转动眼球而不是头部来改变视觉。人们习惯用眼球转动（而不是头部转动）去观察。
目前的vr只追踪头部不追踪眼球运动容易使人眩晕（motion sickness）。人类对于头部转动和相对应的视野的变化是极度敏感的。如果用户的头转动了，而相对的，视野转动有延迟，只要很微小的延迟就能感觉得到。有多微小呢？研究表明，头动和视野的延迟不能超过20ms，不然就会非常明显。而眼球追踪技术运用在这里正好可以解决这一问题，以眼球的变化来控制场景的变化。
（2）注视点渲染
场景的变化很必要，但是要让vr呈现出同自然世界一样的场景和空间感所需的信息量和计算量是极大的。目前的vr大多数是将全部场景以同等的清晰度来呈现，用户移动头部和身体时虚拟物体也会相应地变换位置，视点拉近和退后都会影响景深，这些变化都需要大量的计算和不断更新。
目前的vr能达到每秒36次的刷新，而要达到人眼场景转换的速度则需要2000-3000次每秒，要实时渲染出这些场景，就连很高配的电脑都达不到。
而事实上，vr根本就不需要也不应该以全部的清晰度来呈现场景里的所有物体。在日常生活中，我们都明白“近大远小”，并且当我们注视一个物体时，这个物体会变清晰而其他物体会变模糊，这样我们看物体才有空间感和景深。如果当我们的视线转移了，画面中的物体还是全部清晰的，那么我们的眼睛就会感到“不适应”，并且会因为处理过多信息而疲劳。
注视点渲染的效果
注视点渲染可以解决vr里画面呈现的问题，通过追踪眼睛的注视点，计算机可以只清晰渲染出注视点的场景，而将周边的场景模糊呈现。这样我们眼睛在虚拟环境中看物体和在自然场景中看物体的体验就会变得一致，这样虚拟和现实的切换就不会有明显的障碍，由视点和运动带来的眩晕也会减轻。
oculus首席科学家michale abrash在谈及vr趋势时说道，vr将在5年内解决聚焦的景深问题。而视点渲染技术和眼球追踪技术是关键的解决办法。前文已写到，英伟达与七鑫易维展开合作将从底层技术实现gpu基于眼球追踪的注视点优化渲染技术。
（3）眼球触发的交互界面
vr中的交互目前还是一个尚需探索的领域，用户已经习惯了2d的平面界面信息呈现，在进入vr里时会出现信息迷失的状态。在很多的试验中发现，用户不会通过转动头部来获取整个环境信息，也很难自己找到隐藏的菜单和选项，通常需要工作人员的指引或者是游戏语音的引导。
眼控vr将会为vr带来全新的玩法，在射击类游戏中可以由眼睛控制光标锁定，当用户闭上一只眼时自动调出瞄准镜等，还可以根据玩家在游戏场景中注视点不同触发不同的剧情，当玩家注视路口时，会自动出现地图导航，当注视npc不同部位触发不同的剧情等。除此之外眼控的交互方式还可以应用于游戏菜单，不需要使用的菜单会自动隐藏，使用时通过眼控触发，使vr界面更加干净。
当然，虚拟现实中的交互方式还有待探索，不管是leap motion主张的手势交互，还是眼球控制的技术点交互，都必须符合人们的交互习惯。
眼球追踪的下一步怎么走？
虽然各大巨头都各自收购、投资了眼球追踪技术公司，眼球追踪技术在解决vr因为的眩晕症、提升沉浸感、增强交互方面都有极大的作用，眼球追踪技术已然成为ar/vr发展的关键性和基础性技术。
但是目前有一些显在的问题需要解决。 （1）眼球追踪产品价格高昂
tobii glass 2 售价最低为 14900 美元，高级版 29900 美元，包括了眼镜、辅助记录器和分析软件。七鑫易维的眼控模组aglass的售价是单眼1500元，包括一个眼控追踪配件和三个分别是200度、400度、600度的近视镜片。the eye tribe的眼球追踪开发者套件，售价99美元，面向消费者的眼球追踪盒子，售价199美元。
黄通兵表示，将眼球追踪模组化集成到头显内有望将成本降低到20-30美元，但是即使这样，要htc、oculus这样的头盔厂商消化这部分的成本，需要扩展眼球追踪技术的应用场景。目前眼球追踪的最大价值在于在于与英伟达、amd这样的gpu厂商合作，利用注视点渲染技术降低vr头显对gpu的需求。
（2）设备可用性有待提升
眼球追踪技术针对人眼，因此要对人眼的生物体征有很好的了解，眼球追踪设备需要能够识别出不同的健康程度、不同肤色、不同特征的人眼。目前仅是近视这个问题就会困扰很多做智能眼睛和vr头盔的用户，更不用说一些患有斜视的用户。
另外，我们可以看到目前眼球追踪的设备有各种不同的形态，包括tobii的智能眼镜、the eye tribe的眼球追踪盒子、七鑫易维的vr眼控模组。眼球追踪盒子的形态显然更适用于电脑，智能眼镜可以整合到ar眼镜里。
（3）vr/ar应用差异较大
目前来看，眼球追踪技术应用于vr是一个必然的趋势，目前已有带眼球追踪的vr头盔fove，各大厂商也计划推出有眼球追踪功能的vr一体机。
英伟达主要是希望以眼球追踪技术帮助vr做注视点渲染，降低gpu负载，专注移动vr的高通的移动处理器可能集成眼球追踪算法，更好地支持移动vr体验。
虽然在此文主要集中分析vr，但是眼球追踪在ar的应用也是不可忽视的，ar在未来的应用场景会比vr更为广阔。
在采访国内另一家眼球追踪技术公司“上海青研”时了解到，相比于vr，上海青研更为倾向于眼球追踪在ar上的应用，青研结合眼控技术与ar技术，在可穿戴的ar眼镜上添加眼控模组。
“ar眼控技术与vr眼控技术的应用场景不同：vr看的是虚拟世界，ar看的是真实世界；vr偏重娱乐更多一些，ar偏重实用更多一些；vr to c更多一些，ar to b更多一些。青研公司开发ar眼控技术是为了满足b端客户的需求。”青研ceo杜煜解释到。ar和vr不仅在客户群，应用场景上有不同，需要解决的问题也有很大不同。
杜煜认为：“ar眼控技术与vr眼控技术的主要不同在于：vr眼控需要把眼睛注视点坐标和vr屏幕对应，ar眼控需要把眼睛注视点坐标和真实世界的物体坐标对应，所以在vr眼控技术的基础之上，ar还需要拍摄用户前方的真实场景，并将眼睛注视点坐标与真实场景建立起三维的对应关系。
ar眼控的主要难点有：
通常vr屏幕是2d的，但ar前置场景是3d的。3d位置坐标与眼睛注视点的匹配比2d坐标与眼睛注视点的匹配更复杂。 ar眼控比vr眼控要求体积更小，功耗更低，工业设计、结构设计、电路设计的要求更高。 ar眼控很多场合是室外使用，vr一般是室内使用，ar眼控对室外阳光的抗干扰能力要求更高。“
（4）合作模式不明朗
2016年，风投机构accel partners的科比·富勒（kobie fuller）说：“眼球追踪技术可能非常强大，但从投资角度看，还无法确定其具备的价值。现在有价值数十亿美元的眼球追踪技术公司吗？我还不知道。”
从目前各大巨头对眼球追踪技术公司收购的金额来看，价值数十亿美元的眼球追踪技术公司并不是不可能。7月16日，美国市场研究机构marketsandmarkets发布了关于眼动追踪市场的分析报告，其预计该市场在2023年将达到13.765亿美元的市值，2017年-2023年的年均复合增长率为27.4%。眼球追踪的软件和硬件在这几年都会呈明显上升趋势。或许现在仍不明朗的是合作模式，眼球追踪会成为独立的产品还是作为内嵌技术？
目前我们看到，眼球追踪公司也都在生产眼动仪，智能眼镜等to c的产品，以及开些帮助企业开发的to b产品，同时也在与大厂合作，做vr/ar的外接或内嵌技术，商业模式相对灵活。但是却始终没有获得一个明显的发展。vr和ar的发展对眼球追踪技术或许能带来不一样的活力。
小结 目前苹果、谷歌、facebook、英伟达、高通这些巨头公司几乎占领互联网和移动互联网的大半壁江山，也主导着人工智能、自动驾驶、ar/vr等前沿技术的发展。
资本+技术，巨头们的任何一个举动都可能有改变我们的生活的潜力，而通过长期的行业报道发现，近年来巨头们都在积极布局眼球追踪技术，除了眼球追踪在人机交互的巨大潜能以外，眼球追踪技术还可能成为vr和ar的基础性技术，为ar的vr的发展提供必要的支持。虽然未来还有不少挑战，但是我们很欣喜地看到在眼球追踪技术上，中国公司的发展已经完全与国外接轨，站在同一竞争舞台上。
coverpoint是什么意思
紫光展锐“换帅”！赵伟国退出，新董事长是他
STM32入门学习笔记之温湿度采集实验4
FEV CONSULTING荣获福布斯2022年全球最佳管理咨询公司奖
传感器与plc控制器的接线方法
浅谈眼球追踪解决VR/AR三大问题
安创加速器2018年青睐的8个初创项目，个个身手不凡
三星拟率先使用3nm，比较5nm性能提升30%能耗降低一半
一体成型数字功放电感CSAD概述及参数
蓝牙定时开关和按键式定时开关之间的区别是什么
华为Mate10评测 更快更智慧的全能旗舰名副其实
超声波传感器应用AGV移动小车测距应用解决方案
寒冬没能冻住的中国面板
PCB走线如何避免锐角
慧荣科技荣获全球半导体联盟2016最佳财务管理半导体公司奖
KWP2000协议分析和基于CANoe的开发测试
最值得期待的黑科技？自动驾驶等都是以人工智能为基础的
人工智能持续赋能智慧城市
欧洲走下坡路，国内MEMS传感器企业创收靠什么？
“科技助力经济2020”重点专项拟立项项目公示
眼球追踪主要是研究眼球运动信息的获取、建模和模拟。一是根据眼球和眼球周边的特征变化进行跟踪，二是根据虹膜角度变化进行跟踪，三是主动投射红外线等光束到虹膜来提取特征。
早在2012年，眼控技术研究科技公司tobii宣布研发出了适配windows 8的眼控gaze界面。这是一家做眼球追踪技术较早的瑞典公司。2007年公司估值1400万美元，2009年则达到了2680万美元。2012年，英特尔注资2100万美元进tobii公司，也是出于对windows 8操作系统一次投资。2014年，tobii 推出了第二代智能眼镜 glass 2，利用每个镜片配备 2 个摄像头以及相应的软件技术，实现对眼球动作的精准捕捉。
tobii 智能眼镜
英特尔虽然很早就收购了眼球追踪的公司，但是经过多年，眼球追踪依然未成为笔记本电脑的核心交互方式。而vr的发展却让我们看到了眼球追踪技术应用的更多的可能性。
眼球追踪解决vr/ar三大问题 oculus的创始人palmer luckey曾表示，眼部跟踪技术会成为vr技术未来的一个“重要组成部分”。不仅能实现注视点渲染技术，它还能用来创造一种视觉深度，以创作出更好的用户界面。
（1）减少眩晕
vr要带给人沉浸感，就要做到能让人在虚拟空间里自然运动，这需要通过运动追踪来改变场景的呈现。目前的vr设备主要是利用空间定位技术来捕捉人的身体的位置运动，用惯性传感器来捕捉人的头部的运动，人在转动头部时，视角会发生相应的变化。
但是这只是比较初级的动作捕捉，人其实大多数时候都是通过转动眼球而不是头部来改变视觉。人们习惯用眼球转动（而不是头部转动）去观察。
目前的vr只追踪头部不追踪眼球运动容易使人眩晕（motion sickness）。人类对于头部转动和相对应的视野的变化是极度敏感的。如果用户的头转动了，而相对的，视野转动有延迟，只要很微小的延迟就能感觉得到。有多微小呢？研究表明，头动和视野的延迟不能超过20ms，不然就会非常明显。而眼球追踪技术运用在这里正好可以解决这一问题，以眼球的变化来控制场景的变化。
（2）注视点渲染
场景的变化很必要，但是要让vr呈现出同自然世界一样的场景和空间感所需的信息量和计算量是极大的。目前的vr大多数是将全部场景以同等的清晰度来呈现，用户移动头部和身体时虚拟物体也会相应地变换位置，视点拉近和退后都会影响景深，这些变化都需要大量的计算和不断更新。
目前的vr能达到每秒36次的刷新，而要达到人眼场景转换的速度则需要2000-3000次每秒，要实时渲染出这些场景，就连很高配的电脑都达不到。
而事实上，vr根本就不需要也不应该以全部的清晰度来呈现场景里的所有物体。在日常生活中，我们都明白“近大远小”，并且当我们注视一个物体时，这个物体会变清晰而其他物体会变模糊，这样我们看物体才有空间感和景深。如果当我们的视线转移了，画面中的物体还是全部清晰的，那么我们的眼睛就会感到“不适应”，并且会因为处理过多信息而疲劳。
注视点渲染的效果
注视点渲染可以解决vr里画面呈现的问题，通过追踪眼睛的注视点，计算机可以只清晰渲染出注视点的场景，而将周边的场景模糊呈现。这样我们眼睛在虚拟环境中看物体和在自然场景中看物体的体验就会变得一致，这样虚拟和现实的切换就不会有明显的障碍，由视点和运动带来的眩晕也会减轻。
oculus首席科学家michale abrash在谈及vr趋势时说道，vr将在5年内解决聚焦的景深问题。而视点渲染技术和眼球追踪技术是关键的解决办法。前文已写到，英伟达与七鑫易维展开合作将从底层技术实现gpu基于眼球追踪的注视点优化渲染技术。
（3）眼球触发的交互界面
vr中的交互目前还是一个尚需探索的领域，用户已经习惯了2d的平面界面信息呈现，在进入vr里时会出现信息迷失的状态。在很多的试验中发现，用户不会通过转动头部来获取整个环境信息，也很难自己找到隐藏的菜单和选项，通常需要工作人员的指引或者是游戏语音的引导。
眼控vr将会为vr带来全新的玩法，在射击类游戏中可以由眼睛控制光标锁定，当用户闭上一只眼时自动调出瞄准镜等，还可以根据玩家在游戏场景中注视点不同触发不同的剧情，当玩家注视路口时，会自动出现地图导航，当注视npc不同部位触发不同的剧情等。除此之外眼控的交互方式还可以应用于游戏菜单，不需要使用的菜单会自动隐藏，使用时通过眼控触发，使vr界面更加干净。
当然，虚拟现实中的交互方式还有待探索，不管是leap motion主张的手势交互，还是眼球控制的技术点交互，都必须符合人们的交互习惯。
眼球追踪的下一步怎么走？
虽然各大巨头都各自收购、投资了眼球追踪技术公司，眼球追踪技术在解决vr因为的眩晕症、提升沉浸感、增强交互方面都有极大的作用，眼球追踪技术已然成为ar/vr发展的关键性和基础性技术。
但是目前有一些显在的问题需要解决。 （1）眼球追踪产品价格高昂
tobii glass 2 售价最低为 14900 美元，高级版 29900 美元，包括了眼镜、辅助记录器和分析软件。七鑫易维的眼控模组aglass的售价是单眼1500元，包括一个眼控追踪配件和三个分别是200度、400度、600度的近视镜片。the eye tribe的眼球追踪开发者套件，售价99美元，面向消费者的眼球追踪盒子，售价199美元。
黄通兵表示，将眼球追踪模组化集成到头显内有望将成本降低到20-30美元，但是即使这样，要htc、oculus这样的头盔厂商消化这部分的成本，需要扩展眼球追踪技术的应用场景。目前眼球追踪的最大价值在于在于与英伟达、amd这样的gpu厂商合作，利用注视点渲染技术降低vr头显对gpu的需求。
（2）设备可用性有待提升
眼球追踪技术针对人眼，因此要对人眼的生物体征有很好的了解，眼球追踪设备需要能够识别出不同的健康程度、不同肤色、不同特征的人眼。目前仅是近视这个问题就会困扰很多做智能眼睛和vr头盔的用户，更不用说一些患有斜视的用户。
另外，我们可以看到目前眼球追踪的设备有各种不同的形态，包括tobii的智能眼镜、the eye tribe的眼球追踪盒子、七鑫易维的vr眼控模组。眼球追踪盒子的形态显然更适用于电脑，智能眼镜可以整合到ar眼镜里。
（3）vr/ar应用差异较大
目前来看，眼球追踪技术应用于vr是一个必然的趋势，目前已有带眼球追踪的vr头盔fove，各大厂商也计划推出有眼球追踪功能的vr一体机。
英伟达主要是希望以眼球追踪技术帮助vr做注视点渲染，降低gpu负载，专注移动vr的高通的移动处理器可能集成眼球追踪算法，更好地支持移动vr体验。
虽然在此文主要集中分析vr，但是眼球追踪在ar的应用也是不可忽视的，ar在未来的应用场景会比vr更为广阔。
在采访国内另一家眼球追踪技术公司“上海青研”时了解到，相比于vr，上海青研更为倾向于眼球追踪在ar上的应用，青研结合眼控技术与ar技术，在可穿戴的ar眼镜上添加眼控模组。
“ar眼控技术与vr眼控技术的应用场景不同：vr看的是虚拟世界，ar看的是真实世界；vr偏重娱乐更多一些，ar偏重实用更多一些；vr to c更多一些，ar to b更多一些。青研公司开发ar眼控技术是为了满足b端客户的需求。”青研ceo杜煜解释到。ar和vr不仅在客户群，应用场景上有不同，需要解决的问题也有很大不同。
杜煜认为：“ar眼控技术与vr眼控技术的主要不同在于：vr眼控需要把眼睛注视点坐标和vr屏幕对应，ar眼控需要把眼睛注视点坐标和真实世界的物体坐标对应，所以在vr眼控技术的基础之上，ar还需要拍摄用户前方的真实场景，并将眼睛注视点坐标与真实场景建立起三维的对应关系。
ar眼控的主要难点有：
通常vr屏幕是2d的，但ar前置场景是3d的。3d位置坐标与眼睛注视点的匹配比2d坐标与眼睛注视点的匹配更复杂。 ar眼控比vr眼控要求体积更小，功耗更低，工业设计、结构设计、电路设计的要求更高。 ar眼控很多场合是室外使用，vr一般是室内使用，ar眼控对室外阳光的抗干扰能力要求更高。“
（4）合作模式不明朗
2016年，风投机构accel partners的科比·富勒（kobie fuller）说：“眼球追踪技术可能非常强大，但从投资角度看，还无法确定其具备的价值。现在有价值数十亿美元的眼球追踪技术公司吗？我还不知道。”
从目前各大巨头对眼球追踪技术公司收购的金额来看，价值数十亿美元的眼球追踪技术公司并不是不可能。7月16日，美国市场研究机构marketsandmarkets发布了关于眼动追踪市场的分析报告，其预计该市场在2023年将达到13.765亿美元的市值，2017年-2023年的年均复合增长率为27.4%。眼球追踪的软件和硬件在这几年都会呈明显上升趋势。或许现在仍不明朗的是合作模式，眼球追踪会成为独立的产品还是作为内嵌技术？
目前我们看到，眼球追踪公司也都在生产眼动仪，智能眼镜等to c的产品，以及开些帮助企业开发的to b产品，同时也在与大厂合作，做vr/ar的外接或内嵌技术，商业模式相对灵活。但是却始终没有获得一个明显的发展。vr和ar的发展对眼球追踪技术或许能带来不一样的活力。
小结 目前苹果、谷歌、facebook、英伟达、高通这些巨头公司几乎占领互联网和移动互联网的大半壁江山，也主导着人工智能、自动驾驶、ar/vr等前沿技术的发展。
资本+技术，巨头们的任何一个举动都可能有改变我们的生活的潜力，而通过长期的行业报道发现，近年来巨头们都在积极布局眼球追踪技术，除了眼球追踪在人机交互的巨大潜能以外，眼球追踪技术还可能成为vr和ar的基础性技术，为ar的vr的发展提供必要的支持。虽然未来还有不少挑战，但是我们很欣喜地看到在眼球追踪技术上，中国公司的发展已经完全与国外接轨，站在同一竞争舞台上。
coverpoint是什么意思
紫光展锐“换帅”！赵伟国退出，新董事长是他
STM32入门学习笔记之温湿度采集实验4
FEV CONSULTING荣获福布斯2022年全球最佳管理咨询公司奖
传感器与plc控制器的接线方法
浅谈眼球追踪解决VR/AR三大问题
安创加速器2018年青睐的8个初创项目，个个身手不凡
三星拟率先使用3nm，比较5nm性能提升30%能耗降低一半
一体成型数字功放电感CSAD概述及参数
蓝牙定时开关和按键式定时开关之间的区别是什么
华为Mate10评测 更快更智慧的全能旗舰名副其实
超声波传感器应用AGV移动小车测距应用解决方案
寒冬没能冻住的中国面板
PCB走线如何避免锐角
慧荣科技荣获全球半导体联盟2016最佳财务管理半导体公司奖
KWP2000协议分析和基于CANoe的开发测试
最值得期待的黑科技？自动驾驶等都是以人工智能为基础的
人工智能持续赋能智慧城市
欧洲走下坡路，国内MEMS传感器企业创收靠什么？
“科技助力经济2020”重点专项拟立项项目公示