光追手套VR虚拟键盘方案
青亭网就曾报道facebook科研人员展示的一种基于光追手套的vr虚拟键盘方案，它的特点是利用quest头显对光追手套上标记的识别，来替代实体键盘进行输入。也就是说，你在任何表面上都可以模拟键盘输入，在vr中你可以看到虚拟的键盘和输入的文字。
为了探索在vr中快速、自然输入文字的方式，facebook想了很多办法。目前已经应用且最直接的方式是，通过手机输入然后发送到头显中，或是依靠语音指令。不久后，facebook还将为quest推出基于ar透视和键盘定位的ar办公功能infinite office，也是一种可以让你快速在quest中进行输入的方式。
facebook表示：目前，我们在quest 2的文字输入方式上将重心放于ar+键盘追踪的形式。与此同时，用光追手套模拟打字也是frl正在探索的输入方式之一，目前它可以让你在任何表面实现73字/分钟的输入速度，距离frl的研究目标前进了一大步。
frl在最新发布的一篇博客中详细介绍了光追手套vr虚拟键盘方案的更多细节，以及为quest开发手势识别技术背后的故事和设计理念。
关于vr虚拟键盘方案
frl研发的光追手套vr虚拟键盘方案的一大特点是利用模型算法来推断你的意图，以此来提升虚拟键盘输入的准确性。为此，frl科研人员参考了自动语音识别算法采用的统计解码技术（利用声学模型从音频帧预测音位），利用动作模型来推断敲击手势的意图，即使手势漂移也能辨别不规则的输入规律。
具体来讲，frl利用时间卷积网络来根据手势数据来形成动作模型，将一系列手势特征转化成文字。然后在动作模型基础上还结合了语言模型，即使动态手势难以识别，也能推断出输入意图。接着，利用定向搜索来分析动作模型和语言模型，推断不规则或不明确的手势想要输入的文字。据了解，利用该方案输入文字的速度平均可达73字/分钟，未修正的错误率低至2.4%，对比同一个人在实体键盘上输入的速度和准确率，两种方案效率相当。
frl科研人员还发现，手势识别输入比平板电脑采用的电容传感触屏效率更高，原因是手势识别可追踪每一个单独的手指，以及手指的移动轨迹，这是当前平板电脑或智能手机技术难以做到的。尽管如此，在vr沉浸的环境中，依靠手势来输入可能并不适合所有人。frl表示：该方案更适合于能够盲打的人，尤其是没有键盘的体感反馈也能自然输入的人。可能对于习惯于用实体键盘打字的人来说，还需要一段时间适应。frl的手势识别探索之路对于frl科研团队来讲，手势识别技术是为了降低vr使用门槛而探索的方向之一，他们认为手势输入比手柄更容易上手，随时随地就能使用，是一种更加自然的人机交互方式。
尽管一开始，frl在vr输入方式上的研究以手柄为重点，但是他们发现与直接用手操作相比，手柄控制缺乏表现力，使用起来也不够自然。于是在5年前，frl几乎从零开始研发，最后成功在quest上推出足够稳定的手势识别技术。此前，青亭网就曾报道过frl对quest手势识别研究发布的论文，其中揭露了4颗黑白摄像头实时识别手势的原理，以及需要克服的困难。为了在配备移动芯片的quest一体机流畅运行，frl对手势识别系统进行一系列优化，将该系统的耗电量降低至7%。接下来，frl还将继续在vr手势识别上的探索，进一步优化技术。如果你现在就想试试quest手势识别功能，可以去体验《wlatz of the wizard》、《the line》、《spatial》、《the curious tlae of the stolen pets》等vr应用，未来相信还会有更多vr作品加入该功能。
参考：
https://tech.fb.com/making-technology-feel-natural/
360手机总裁李开新：手机企业没有饿死的 卖手机就像卖海鲜
oppor11什么时候上市？oppor11最新消息：oppor11上市时间确定，oppor11人气持续上涨！高通旗舰影像处理器加持
盘点总结苹果发布会没有提到的关于iPhone 12的重要细节
浩亭连接器紧凑集成 满足苛刻空间要求
首届国际区块链产业博览会在成都举行
光追手套VR虚拟键盘方案
NP4409SR 30V p通道增强模式MOSFET
吉利银河OS迎1.2版，亿咖通科技助星越L实现“智能化成长”
无人机战“疫”立功 物流技术商业化落地的进程加快
台积电的5纳米和3纳米都将实现量产
微电网的工作原理
美信推出MAX5984单端口PSE电源控制器
英伟达自动驾驶软硬件一体化解决方案
一次SQL查询优化原理分析：900W+数据，从17s到300ms
2022全球晶圆厂设备支出超1000亿美元，突破历史记录！
内窥镜气密性检测技术
5G建设加速,未来5G手机的换机需求有望快速增加
接收定时信号产生电路
在AI和物联网下的运营商SIM卡如何生存
苹果官方盖章确认了?无线充电设备 AirPower胎死腹中
为了探索在vr中快速、自然输入文字的方式，facebook想了很多办法。目前已经应用且最直接的方式是，通过手机输入然后发送到头显中，或是依靠语音指令。不久后，facebook还将为quest推出基于ar透视和键盘定位的ar办公功能infinite office，也是一种可以让你快速在quest中进行输入的方式。
facebook表示：目前，我们在quest 2的文字输入方式上将重心放于ar+键盘追踪的形式。与此同时，用光追手套模拟打字也是frl正在探索的输入方式之一，目前它可以让你在任何表面实现73字/分钟的输入速度，距离frl的研究目标前进了一大步。
frl在最新发布的一篇博客中详细介绍了光追手套vr虚拟键盘方案的更多细节，以及为quest开发手势识别技术背后的故事和设计理念。
关于vr虚拟键盘方案
frl研发的光追手套vr虚拟键盘方案的一大特点是利用模型算法来推断你的意图，以此来提升虚拟键盘输入的准确性。为此，frl科研人员参考了自动语音识别算法采用的统计解码技术（利用声学模型从音频帧预测音位），利用动作模型来推断敲击手势的意图，即使手势漂移也能辨别不规则的输入规律。
具体来讲，frl利用时间卷积网络来根据手势数据来形成动作模型，将一系列手势特征转化成文字。然后在动作模型基础上还结合了语言模型，即使动态手势难以识别，也能推断出输入意图。接着，利用定向搜索来分析动作模型和语言模型，推断不规则或不明确的手势想要输入的文字。据了解，利用该方案输入文字的速度平均可达73字/分钟，未修正的错误率低至2.4%，对比同一个人在实体键盘上输入的速度和准确率，两种方案效率相当。
frl科研人员还发现，手势识别输入比平板电脑采用的电容传感触屏效率更高，原因是手势识别可追踪每一个单独的手指，以及手指的移动轨迹，这是当前平板电脑或智能手机技术难以做到的。尽管如此，在vr沉浸的环境中，依靠手势来输入可能并不适合所有人。frl表示：该方案更适合于能够盲打的人，尤其是没有键盘的体感反馈也能自然输入的人。可能对于习惯于用实体键盘打字的人来说，还需要一段时间适应。frl的手势识别探索之路对于frl科研团队来讲，手势识别技术是为了降低vr使用门槛而探索的方向之一，他们认为手势输入比手柄更容易上手，随时随地就能使用，是一种更加自然的人机交互方式。
尽管一开始，frl在vr输入方式上的研究以手柄为重点，但是他们发现与直接用手操作相比，手柄控制缺乏表现力，使用起来也不够自然。于是在5年前，frl几乎从零开始研发，最后成功在quest上推出足够稳定的手势识别技术。此前，青亭网就曾报道过frl对quest手势识别研究发布的论文，其中揭露了4颗黑白摄像头实时识别手势的原理，以及需要克服的困难。为了在配备移动芯片的quest一体机流畅运行，frl对手势识别系统进行一系列优化，将该系统的耗电量降低至7%。接下来，frl还将继续在vr手势识别上的探索，进一步优化技术。如果你现在就想试试quest手势识别功能，可以去体验《wlatz of the wizard》、《the line》、《spatial》、《the curious tlae of the stolen pets》等vr应用，未来相信还会有更多vr作品加入该功能。
参考：
https://tech.fb.com/making-technology-feel-natural/
360手机总裁李开新：手机企业没有饿死的 卖手机就像卖海鲜
oppor11什么时候上市？oppor11最新消息：oppor11上市时间确定，oppor11人气持续上涨！高通旗舰影像处理器加持
盘点总结苹果发布会没有提到的关于iPhone 12的重要细节
浩亭连接器紧凑集成 满足苛刻空间要求
首届国际区块链产业博览会在成都举行
光追手套VR虚拟键盘方案
NP4409SR 30V p通道增强模式MOSFET
吉利银河OS迎1.2版，亿咖通科技助星越L实现“智能化成长”
无人机战“疫”立功 物流技术商业化落地的进程加快
台积电的5纳米和3纳米都将实现量产
微电网的工作原理
美信推出MAX5984单端口PSE电源控制器
英伟达自动驾驶软硬件一体化解决方案
一次SQL查询优化原理分析：900W+数据，从17s到300ms
2022全球晶圆厂设备支出超1000亿美元，突破历史记录！
内窥镜气密性检测技术
5G建设加速,未来5G手机的换机需求有望快速增加
接收定时信号产生电路
在AI和物联网下的运营商SIM卡如何生存
苹果官方盖章确认了?无线充电设备 AirPower胎死腹中