在今年的google i/o大会上,daydream产品经理nathan martz 公布了最新的ar软件开发套件arcore新版本arcore 1.2,该版本带来了三大重要功能——cloud anchors、augmented images、sdk sceneform。
cloud anchors功能,允许多用户通过网络连接共享的增强现实(ar)空间,实现多用户的ar体验。
augmented images类似于以前的ar扫描和qr码,但之前只能平面识别,此次新增了垂直平面识别,能更准确识别不规则物体表面。例如现在可以识别产品垂直包装面,以ar的方式呈现出包装内的产品。
全新的sdk sceneform是一个旨在帮助java开发者快速创建ar场景的新版sdk,无需处理整个3d开发堆栈。
arcore 1.2 最大的更新是cloud anchors功能,除了多用户共享ar体验外,还有一个重要的点是,支持跨设备共享ar体验, android和ios用户都能通过cloud anchors获得多用户ar体验。
本文将从cloud anchors 多用户ar体验的实现原理、功能缺陷以及应用场景方面进行深入的探讨。vr陀螺请到了网易ar游戏《悠梦》的开发者应新港、directive games的联合创始人张竹云、视+ar高级算法工程师王强对cloud anchors进行深度解读。
cloud anchors如何实现多用户共享同一个ar场景?
“这个功能其实是一个cloud anchors概念,anchor本身对于arcore是一个非常重要的概念,” 视+ar王强表示,“arcore中通过ar往现实中放置一个交互虚拟物体,需要通过anchor指定其空间位置,只不过这个anchor以前是不能够多人共享的。”
什么是anchors?虚拟物体在现实世界中的固定位置就是anchors,有了这个锚点,虚拟物体就不会发生偏移,可以很好的贴合在现实环境中。要形成一个anchors,首先需要一个slam系统提供相机的位置,通过相机扫描现实位置放置虚拟物体,虚拟物体的位置就会形成一个anchors,它包括了一个物理位置和一堆视觉特征。
王强补充道:“正因为有anchors这个概念的存在,所以现在所谓的云anchors 就很好理解了,用户a首先将本地anchor和anchor周围局部的视觉信息(比如特征点、线等),上传到云端,云端通过处理并生成三维点云信息,生成cloud anchors,同时返回其对应的id,该id可以共享给其他用户。其他用户(例如用户b,c等)通过该id访问已有的cloud anchors,arcore将本地的视觉信息上传到云端服务器,云端服务器尝试将接收的视觉信息与云端cloud anchor对应的的三维点云进行对齐,从而将多个用户的位置和姿态统一到同一坐标系下。”
directive games张竹云对cloud anchors的原理分析和王强大致相同,“谷歌在arcore 1.2的更新中加入了所谓多人模式的概念,这个机能是通过“云锚定”(cloud anchor)来实现的。简单来说,arcore将捕捉到用于进行运动追踪的特征点,上传并储存到云锚定的服务介质上,对比同一场景下不同用户各自的特征点,系统就可以把内容物体在不同的设备上渲染到空间中相同的位置。”
网易ar游戏应新港则认为:“它应该是通过特征点的共享(还没接入还不太确定),然后再逐渐谈到应用场景,就是它可以实现将虚拟场景的方位与朝向在多台机子上统一,这样很多多人游戏都可以做了。”
cloud anchors如何兼容ios,为什么要兼容ios?
张竹云分析其原理和安卓设备之间的ar数据交换是相同的,谷歌提供给ios一套相应的cloud anchor api,允许ios 应用将对应的特征点数据上传到云端以分享至其他的设备。
王强的分析也有一定的共同点,他认为谷歌通过针对arkit做对应的上层封装,对于开发者来说可以避免跨平台的开发带来的问题。由于arcore在推出之时,功能和接口设计就与arkit非常类似,因此arcore可以相对容易的提供一套封装和接口,从而同时兼容两个系统。
cloud anchor 能实现多用户ar交互是让人兴奋的,它还能够兼容ios是令人惊讶的,但不算意外。
王强补充说道,“虽然此次i/o大会谷歌强调arcore已经支持1亿台以上的安卓设备,但考虑到市面上安卓设备数量,实际上它的普及速度是偏慢的。目前支持arcore的机型基本只有少数几个品牌的旗舰级的手机,因此对于ar的用户普及来说,安卓比苹果要低很多的。当谷歌表示cloud anchors兼容arkit的时候大家表示惊讶,但考虑到苹果的ar用户的庞大数量,对于多人ar体验来说,通过上层兼容arkit也是非常合理的。”
cloud anchors可以应用到什么场景?
张竹云、王强、应新港一致认为,多人游戏娱乐和多人协作行业应用是cloud anchors 的方向。
当初苹果刚推出ar功能的时候,很多人都认为ar会很快的普及到大部分的用户,因为苹果本身也有软硬件的优势,但最后结果是否定的。由于目前的ar体验并没有足够的元素吸引用户长时间使用,一方面是缺少碰撞和遮挡,缺少真实感,另一方面是缺少社交元素,用户之间没有交流,没有分享渠道,更不能共同参与ar体验,而cloud anchors则刚好能解决这个问题。
张竹云对此表示,“多人共享的ar空间可以说是ar未来发展至关重要的功能,只有当ar可以在人和人之间进行分享的时候,他才会真正成为日常生活中主流的,必不可少的工具。出于这个思路,可以说它的应用场景是非常广泛的,从多人协作的行业应用到交互娱乐游戏,都是它的用武之地。”
王强则认为:“互联网爆款大多都涉及社交元素。有了多用户交互之后,游戏、娱乐、工业、教育等各个行业都可以加入多人、社交ar的功能。ar未来的趋势肯定是朝着持久的,多用户的,可以分享的沉浸感更强的ar体验。”
“要实现ar mmo 前还有差距,一方面是参与人数,官方文档虽然没提及,但目前同一cloud anchors应该对同时共享的用户人数会有限制。另一方面是要做到真正的armmo需要构建与现实环境1:1的ar地图,只有arcore的cloud anchors只能看做局部的小地图,构建大范围的、多人共享、可持久更新的ar地图目前仍然是行业内的难点。”
cloud anchors目前会有什么缺陷?
毫无疑问,cloud anchors对于开发者和用户都是一个很重要的功能,该功能很有可能让ar mmo游戏成为现实,该功能也是ar社交的一个补充,但现在看来,该功能尚存在一些难点和缺陷需要解决。
地板和地毯会给特征点的识别、追踪带来难度吗? 张竹云认为:“缺少纹理的表面会给追踪带来困难,但实际上大多数地板和地毯都是有丰富细节的。”
光照、角度会影响特征点的采集,进而影响多用户交互体验吗?王强表示:“这是多用户共享的一个最大的难点,就是怎么得到不同用户相对的位置和姿态信息。光照变化、用户的观察角度、距离变化都会对视觉匹配算法的性能带来影响。”
“利用cloud anchors建立与用户图像的匹配,对于室内场景来说比较简单解决一些,室外场景下可能会需要面对白天到晚上这种光照变化更剧烈的挑战。近年来室内不同角度、角度和位置的图像匹配算法已经有长足的进步。对于室外场景下,国内外很多ar相关的公司都在做这方面的解决方案,相信这个问题也会逐步得到解决。”目前arcore的匹配是在服务器端完成的,相对在本地实现无需过多考虑手机计算性能带来的限制。”
多用户数据上传,有可能导致云端服务器压力过大吗?王强认为,“视觉计算它本身的计算量通常是非常大的,比如说特征提取和计算特征描述子。这个不仅对服务器传输带宽压力大,对于算法的压力也很大。但谷歌之前在tango的开发过程中,应该积累了大量的算法相关经验,在优化算法速度和性能这方面相对比较有优势。”
“但谷歌之前开发过tango,在这方面应该有积累了大量的经验,这方面应该比较有优势,针对数据量做算法的优化,另一方面,用户与云端的通信不一定需要传输图像这种非常耗费带宽的资源,可以在本地先进行特征提取和描述子计算,然后只将描述子这种较小的东西上传到云端进行匹配,从而能减少访问服务器的压力。”
用户数据上传到云端,会不会导致数据外泄?对此王强认为问题不大,“其实谷歌也意识到这个问题,对于数据的传输、存储、访问都是有一些限制的。例如谷歌在arcore文档中提到,创建cloud anchors中上传的原始视觉信息在7天后销毁,用来与云端匹配计算相对位置的视觉特征描述子也不会在云端存储。
安全加密芯片MOD208产品介绍
传统车企能造出什么样的新能源汽车?
日本希望借助2020东京奥运会重建技术实力
EXB840引脚图及其应用
苹果macOS Big Sur系统界面大改变特殊优化 11月13日正式推送
Cloud Anchors如何实现多用户共享同一个AR场景?
高通谈美国5G建设情况 顺利进行中
LG推出超薄车用照明模块 堪称目前市面上最薄的LED照明模块
2021年手机芯片最新排行榜
技术干货 | 红外测温枪准不准?其工作原理是什么?一文了解
环保在线排水管网可视系统解决方案
盛会聚焦|湖北省(暨武汉市)电气与智能化二O二三年学术年会
Bourns推出的 双通道TBU®高速保护器将减少组件数量和BOM成本
北方华创公开“刻蚀方法和半导体工艺设备”相关专利
PLC输入输出接线图
Keysight N5225B网络分析仪主要特性与技术指标50GHz
400亿美刀的ARM香吗?
综合管廊消防设备电源监控系统解决方案
Snap inc正准备向AR/VR游戏开发领域的玩家发起挑战
大功率数字电源芯片国内有哪些