欢创科技发布基于视觉与惯性传感定位技术的Camsense XR产品
10月16日，深圳市欢创科技有限公司（以下简称：欢创科技）发布了基于视觉与惯性传感定位技术的vr手柄套件camsense xr，能实现vr/ar单目视觉6dof追踪。据了解该公司在视觉领域深耕多年，套件定位效果丝毫不亚于oculus等主流产品。
“国内的inside-out技术迭代，或许在一到两年内都很难赶超quest。”就在之前quest2的发布会结束不久，陀螺君在和某从业者闲聊时得到了这样的答案。
从头控到如今的6dof，vr硬件的迭代发展正推动着内容生态的急剧进化。基于视觉的inside-out追踪系统，为pc vr热门游戏《beat saber》、《superhot vr》提供了移植的可能性，更是促使涌现出一大批具有极高辨识度和玩法创新的移动游戏佳作。
不得不说，在vr行业发展初期，底层技术的发展离不开facebook、微软、索尼等这些一众大厂的重金推动。而作为现今移动vr游戏的标配，inside-out追踪系统也成为了大厂们底层技术生态中的最强盾牌。 在国内，基于视觉的inside-out追踪系统依旧处在萌芽期，各家厂商都在积极探索和落地与视觉搭配使用的，基于电磁和超声波的其他追踪方案，而算法层面的薄弱问题几乎成为了阻碍国内inside-out追踪系统发展的最大拦路虎。
那么，国内有没有一家企业对于inside-out视觉追踪算法有着更为深入的探索？ 此次vr陀螺到场体验了该产品，并采访到欢创科技ceo周琨，了解到该产品背后的渊源与背景。
定位效果媲美quest？camsense xr实现单目视觉6dof追踪
虽然国内从事vr头显研发的企业层出不穷，但专注于6dof手柄方案的企业却凤毛麟角。在手柄方案中，又可分为可见光、红外、激光、电磁等不同方案的产品。每一种方案都有其不同的优缺点，如可见光对光线环境有要求，且摄像头范围外无法捕捉;激光方案需要避免反光镜面;电磁易被金属干扰等。
区别于以上所有定位方案，camsense xr采用了视觉追踪+惯性传感方案，并且是极其少有的支持单目6dof的追踪方案。其主要应用于vr头显的手柄定位追踪，结合头部与手柄两端实现精准定位，可适配不同的头显设备。
整套方案由搭载两个摄像头的视觉定位模组以及两个6dof手柄构成，由于该方案核心在于软件算法所呈现出来的定位效果，所以手柄的工业设计可根据头显厂商进行定制，而摄像头定位模组也可在头显设计时完全融入到产品中。
从参数来看，camsense xr可实现距离1米、水平170°&垂直98°的6dof追踪，定位精度动态条件下小于3mm，静态条件下约1mm，运算延迟低于10ms。
从市场上主流的vr头显来看，inside-out已经成为主流的追踪方案，并且大多采用视觉定位追踪。如果是纯视觉定位的话，其缺点在于对于环境要求较高，并且当手柄移动到捕捉范围外时非常容易丢失，所以需要靠算法进行补偿。
而camsense xr的优势在于，视觉追踪+惯性传感两者混合，当手柄位于摄像头追踪范围外时，可通过惯性传感进行补偿，同时结合算法，实现稳定流畅的手柄追踪效果。视觉追踪技术与惯性传感器一样都已经在其他领域广泛应用，具备较高的成熟度和稳定性。
vr陀螺在现场测试了该产品的性能和效果，并对效果进行了实时录制拍摄。 在摄像头追踪范围内快速移动手柄，几乎感觉不到任何延时; vr体验的核心在于沉浸感以及更本能的交互方式，所以在一些体验中会有大幅度的手部动作交互，如拉弓射箭、扔手榴弹、跳舞、绘画等，在这些场景中往往手的动作会跳出摄像头的捕捉范围。如果手柄漂移、丢失或者延时高、反馈慢的话，体验将大打折扣，游戏的话甚至直接影响比分结果。在camsense xr实测过程中，当手臂大幅度挥动时，在回到视角范围内的瞬间，手柄也随之出现，重定位算法可以在1ms之内完成手柄姿态的初始化定位，非常及时。
除了测试了以上两个部分之外，vr陀螺还现场测试了该套件的另一个功能——单目6dof追踪。一般来说正如人眼一样，空间定位也需要两个摄像头来检测深度，在一个摄像头的条件下能否进行精准的定位追踪？答案是可以的。 如视频中所示，在一个摄像头被遮挡的情况下，追踪的精度以及延时、响应速度丝毫未受影响。
深耕多年，camsense死磕性能与成本
之所以能够实现如此精准的定位追踪，不仅与欢创这家公司自身的积累有关，同时也在于产品定义和设计细节。 欢创科技成立于2014年，专注于高精度定位传感器研发，创始人之一周琨是清华大学本科和硕士，在计算机视觉空间定位与人机交互领域拥有十多年研究经验，拥有20多项国际和国家发明专利。
虽然欢创科技成立时间并不长，但该公司至今已申请32项发明专利、4项已经得到授权，其中1项发明专利刚获得美国专利局授权。欢创科技拥有完全自主知识产权的核心算法以及芯片。在这样的团队背景和底气下，欢创科技运用核心算法——单目视觉定位，针对同领域进行算法的硬核化，形成了多条业务线，覆盖了包括机器人、工业/医疗和vr/ar等领域。在机器人领域，其研发的基于asic芯片的单目视觉激光雷达被应用在诸多扫地机器人品牌上，在9月份单月出货量超过了10万台，从默默无闻纵身一跃成为行业头部供应商。另一款产品camsense m pro则用于工业、医疗等领域。如无人机测试，通过一套由多个单目相机组成的定位系统，检测无人机飞行的空间坐标轨迹以及稳定性。
当谈及欢创科技为何会关注vr时，周琨表示非常看好vr/ar的发展趋势，其实早在2015年前后公司就在关注vr行业，一直在做技术储备。 “我们坚持的一个基本前提是对vr行业长期看好的，并相信这个行业会得到很大的发展。这一点从oculus和微软等厂商对于vr行业近几年的布局动作就可以看出来，如果不是朝阳行业，这些公司是不会在上面投入的。”
在坚定了vr的方向后，欢创科技将目光放在了手柄定位上，周琨提到，目前全球vr硬件企业中，拥有单目6dof定位视觉追踪技术的企业屈指可数。也正是考虑到未来有庞大的市场空间，所以反而在这条赛道上机会更大。 在这套方案的设计中，周琨也提到了诸多细节方面，比如选择了主动光源而非被动光源。“主动光源的好处是不会受光线明暗的影响，也不会受周围环境的本身纹理复杂程度的影响。即使在一个纯白的环境，也可以进行追踪。”
外观设计上，采用了常见的环形外观，整体体积相比同类产品缩小不少。手柄上主动发光点分布于圆环各处，便于精准追踪。 在手柄的参数中，vr陀螺注意到传感器的帧率为30帧，在60、70、90帧为主流的背景下，为何偏偏要降到30帧？
“我们尽量降低对硬件的要求，拔高系统的算法能力，而且同时不能够牺牲用户体验，其实这对于我们来说难度是很大的。”周琨坦言。camsense与oculus和微软的追踪方案相似，都有头部和手部定位、也都采用单目传感器和主动光源手柄，但最大的不同仍然在于算法处理所依据的硬件条件
oculus和微软能够大胆地使用高成本技术，提高硬件和配置要求，因此算法处理就会容易很多，而用户也能够体验到微软90帧率或oculus产品4个单目摄像头的良好定位效果。camsense面临的挑战，就是如何做好硬件成本和优秀用户体验之间的平衡;以及如何应对客户的多样化需求，并最终达到追踪效果的一致性。
camsense xr的优势，主要体现以下两个方面： 首先是定位算法能在低配置硬件上实现高配置硬件同样的性能。camsense xr主要依靠高精度定位算法，但最少可以只使用两个30帧帧率的，分辨率为vga的单目镜头，可以达到 其它厂家60帧帧率的动态定位精度。这是camsense面向多种客户需求还能达到一致追踪效果的关键。由于客户需求多样，需要适配不同的处理终端，pc端能够处理高符合运算，但基于手机处理方案的vr一体机却不能在定位上消耗过多性能，为了最大化降低门槛，如何在低配硬件基础上实现高质量的追踪效果成为了需要攻克的课题。
周琨提到，在设备中共有三种计算资源，一种是gpu，主要进行图像处理或者游戏等并行计算场景;一种是dsp，主要用于运行头部vslam等计算机视觉算法或者深度学习算法;还有一种是arm计算资源，仅用于轻量级运算，如微信，支付宝等手机上常见的各种app程序。而camsense xr在运算中，使用的就是第三种计算资源--arm，所以内存占用仅50m，1．95ghz的双核cpu就能运行。
降低功耗毕竟只是解决了适配性和成本问题，用户体验也是一道挑战。既然硬件的基础降低了，如何保证体验效果不被影响？周琨表示，只能以高精度的算法弥补硬件的不足。camsense xr对于复杂环境下的追踪，从头部端到芯片处理再到终端交互的算法继承自其工业级的亚亚像素高精度定位算法，其精度可以达到5m大空间范围内，0．2mm的绝对平均误差，此技术在今年已获得美国专利局的发明专利授权。
结语
注意到，在访谈过程中，周琨一直在强调要做“有意义”的产品。他从消费者、客户、企业开发人员、产品和整个市场环境角度考虑，不断打磨camsense xr的产品定义，即使有能力投入更多的资金和时间达到更亮眼的功能效果，比如做头部slam定位，但另一方面就会失去欢创科技自身的独特性。 随着daydream、gear vr淡出历史舞台，3dof时代已经结束。而6dof产品的核心——定位追踪，也将变得越来越重要。而这，也将为欢创科技带来更多机会。
液晶面板的种类有哪些
摄像头是如何获取彩色图片的？
MAX11612-MAX11617低功耗12位多通道模数转换器(ADC)
空气检测仪，使用的化学传感器很重要
太阳能杀虫灯使用注意事项
欢创科技发布基于视觉与惯性传感定位技术的Camsense XR产品
太阳能电池板特性及工作原理
让汽车更智能、更安全的三种技术途径
人工智能算法 识别禁限物品
预计2013年混合动力车获更高市占
松下发布基于VR/AR的HUD系统
苹果将新Mac Pro生产地从美国转至中国
工业无线路由器的传输距离主要会受哪四方面因素影响
网络通讯协议是什么
未来数据中心的技术发展将朝三个方向发展
传统示波器为什么不能像记录仪一样长时间采集及记录波形？
最新电源管理芯片现货行情分析及预判
华为制定“达芬奇计划”，助力研发高性能的AI芯片
如何使用Eclipse将交互式变基础
场景决定服务机器人行业上限,技术决定服务机器人行业下限
“国内的inside-out技术迭代，或许在一到两年内都很难赶超quest。”就在之前quest2的发布会结束不久，陀螺君在和某从业者闲聊时得到了这样的答案。
从头控到如今的6dof，vr硬件的迭代发展正推动着内容生态的急剧进化。基于视觉的inside-out追踪系统，为pc vr热门游戏《beat saber》、《superhot vr》提供了移植的可能性，更是促使涌现出一大批具有极高辨识度和玩法创新的移动游戏佳作。
不得不说，在vr行业发展初期，底层技术的发展离不开facebook、微软、索尼等这些一众大厂的重金推动。而作为现今移动vr游戏的标配，inside-out追踪系统也成为了大厂们底层技术生态中的最强盾牌。 在国内，基于视觉的inside-out追踪系统依旧处在萌芽期，各家厂商都在积极探索和落地与视觉搭配使用的，基于电磁和超声波的其他追踪方案，而算法层面的薄弱问题几乎成为了阻碍国内inside-out追踪系统发展的最大拦路虎。
那么，国内有没有一家企业对于inside-out视觉追踪算法有着更为深入的探索？ 此次vr陀螺到场体验了该产品，并采访到欢创科技ceo周琨，了解到该产品背后的渊源与背景。
定位效果媲美quest？camsense xr实现单目视觉6dof追踪
虽然国内从事vr头显研发的企业层出不穷，但专注于6dof手柄方案的企业却凤毛麟角。在手柄方案中，又可分为可见光、红外、激光、电磁等不同方案的产品。每一种方案都有其不同的优缺点，如可见光对光线环境有要求，且摄像头范围外无法捕捉;激光方案需要避免反光镜面;电磁易被金属干扰等。
区别于以上所有定位方案，camsense xr采用了视觉追踪+惯性传感方案，并且是极其少有的支持单目6dof的追踪方案。其主要应用于vr头显的手柄定位追踪，结合头部与手柄两端实现精准定位，可适配不同的头显设备。
整套方案由搭载两个摄像头的视觉定位模组以及两个6dof手柄构成，由于该方案核心在于软件算法所呈现出来的定位效果，所以手柄的工业设计可根据头显厂商进行定制，而摄像头定位模组也可在头显设计时完全融入到产品中。
从参数来看，camsense xr可实现距离1米、水平170°&垂直98°的6dof追踪，定位精度动态条件下小于3mm，静态条件下约1mm，运算延迟低于10ms。
从市场上主流的vr头显来看，inside-out已经成为主流的追踪方案，并且大多采用视觉定位追踪。如果是纯视觉定位的话，其缺点在于对于环境要求较高，并且当手柄移动到捕捉范围外时非常容易丢失，所以需要靠算法进行补偿。
而camsense xr的优势在于，视觉追踪+惯性传感两者混合，当手柄位于摄像头追踪范围外时，可通过惯性传感进行补偿，同时结合算法，实现稳定流畅的手柄追踪效果。视觉追踪技术与惯性传感器一样都已经在其他领域广泛应用，具备较高的成熟度和稳定性。
vr陀螺在现场测试了该产品的性能和效果，并对效果进行了实时录制拍摄。 在摄像头追踪范围内快速移动手柄，几乎感觉不到任何延时; vr体验的核心在于沉浸感以及更本能的交互方式，所以在一些体验中会有大幅度的手部动作交互，如拉弓射箭、扔手榴弹、跳舞、绘画等，在这些场景中往往手的动作会跳出摄像头的捕捉范围。如果手柄漂移、丢失或者延时高、反馈慢的话，体验将大打折扣，游戏的话甚至直接影响比分结果。在camsense xr实测过程中，当手臂大幅度挥动时，在回到视角范围内的瞬间，手柄也随之出现，重定位算法可以在1ms之内完成手柄姿态的初始化定位，非常及时。
除了测试了以上两个部分之外，vr陀螺还现场测试了该套件的另一个功能——单目6dof追踪。一般来说正如人眼一样，空间定位也需要两个摄像头来检测深度，在一个摄像头的条件下能否进行精准的定位追踪？答案是可以的。 如视频中所示，在一个摄像头被遮挡的情况下，追踪的精度以及延时、响应速度丝毫未受影响。
深耕多年，camsense死磕性能与成本
之所以能够实现如此精准的定位追踪，不仅与欢创这家公司自身的积累有关，同时也在于产品定义和设计细节。 欢创科技成立于2014年，专注于高精度定位传感器研发，创始人之一周琨是清华大学本科和硕士，在计算机视觉空间定位与人机交互领域拥有十多年研究经验，拥有20多项国际和国家发明专利。
虽然欢创科技成立时间并不长，但该公司至今已申请32项发明专利、4项已经得到授权，其中1项发明专利刚获得美国专利局授权。欢创科技拥有完全自主知识产权的核心算法以及芯片。在这样的团队背景和底气下，欢创科技运用核心算法——单目视觉定位，针对同领域进行算法的硬核化，形成了多条业务线，覆盖了包括机器人、工业/医疗和vr/ar等领域。在机器人领域，其研发的基于asic芯片的单目视觉激光雷达被应用在诸多扫地机器人品牌上，在9月份单月出货量超过了10万台，从默默无闻纵身一跃成为行业头部供应商。另一款产品camsense m pro则用于工业、医疗等领域。如无人机测试，通过一套由多个单目相机组成的定位系统，检测无人机飞行的空间坐标轨迹以及稳定性。
当谈及欢创科技为何会关注vr时，周琨表示非常看好vr/ar的发展趋势，其实早在2015年前后公司就在关注vr行业，一直在做技术储备。 “我们坚持的一个基本前提是对vr行业长期看好的，并相信这个行业会得到很大的发展。这一点从oculus和微软等厂商对于vr行业近几年的布局动作就可以看出来，如果不是朝阳行业，这些公司是不会在上面投入的。”
在坚定了vr的方向后，欢创科技将目光放在了手柄定位上，周琨提到，目前全球vr硬件企业中，拥有单目6dof定位视觉追踪技术的企业屈指可数。也正是考虑到未来有庞大的市场空间，所以反而在这条赛道上机会更大。 在这套方案的设计中，周琨也提到了诸多细节方面，比如选择了主动光源而非被动光源。“主动光源的好处是不会受光线明暗的影响，也不会受周围环境的本身纹理复杂程度的影响。即使在一个纯白的环境，也可以进行追踪。”
外观设计上，采用了常见的环形外观，整体体积相比同类产品缩小不少。手柄上主动发光点分布于圆环各处，便于精准追踪。 在手柄的参数中，vr陀螺注意到传感器的帧率为30帧，在60、70、90帧为主流的背景下，为何偏偏要降到30帧？
“我们尽量降低对硬件的要求，拔高系统的算法能力，而且同时不能够牺牲用户体验，其实这对于我们来说难度是很大的。”周琨坦言。camsense与oculus和微软的追踪方案相似，都有头部和手部定位、也都采用单目传感器和主动光源手柄，但最大的不同仍然在于算法处理所依据的硬件条件
oculus和微软能够大胆地使用高成本技术，提高硬件和配置要求，因此算法处理就会容易很多，而用户也能够体验到微软90帧率或oculus产品4个单目摄像头的良好定位效果。camsense面临的挑战，就是如何做好硬件成本和优秀用户体验之间的平衡;以及如何应对客户的多样化需求，并最终达到追踪效果的一致性。
camsense xr的优势，主要体现以下两个方面： 首先是定位算法能在低配置硬件上实现高配置硬件同样的性能。camsense xr主要依靠高精度定位算法，但最少可以只使用两个30帧帧率的，分辨率为vga的单目镜头，可以达到 其它厂家60帧帧率的动态定位精度。这是camsense面向多种客户需求还能达到一致追踪效果的关键。由于客户需求多样，需要适配不同的处理终端，pc端能够处理高符合运算，但基于手机处理方案的vr一体机却不能在定位上消耗过多性能，为了最大化降低门槛，如何在低配硬件基础上实现高质量的追踪效果成为了需要攻克的课题。
周琨提到，在设备中共有三种计算资源，一种是gpu，主要进行图像处理或者游戏等并行计算场景;一种是dsp，主要用于运行头部vslam等计算机视觉算法或者深度学习算法;还有一种是arm计算资源，仅用于轻量级运算，如微信，支付宝等手机上常见的各种app程序。而camsense xr在运算中，使用的就是第三种计算资源--arm，所以内存占用仅50m，1．95ghz的双核cpu就能运行。
降低功耗毕竟只是解决了适配性和成本问题，用户体验也是一道挑战。既然硬件的基础降低了，如何保证体验效果不被影响？周琨表示，只能以高精度的算法弥补硬件的不足。camsense xr对于复杂环境下的追踪，从头部端到芯片处理再到终端交互的算法继承自其工业级的亚亚像素高精度定位算法，其精度可以达到5m大空间范围内，0．2mm的绝对平均误差，此技术在今年已获得美国专利局的发明专利授权。
结语
注意到，在访谈过程中，周琨一直在强调要做“有意义”的产品。他从消费者、客户、企业开发人员、产品和整个市场环境角度考虑，不断打磨camsense xr的产品定义，即使有能力投入更多的资金和时间达到更亮眼的功能效果，比如做头部slam定位，但另一方面就会失去欢创科技自身的独特性。 随着daydream、gear vr淡出历史舞台，3dof时代已经结束。而6dof产品的核心——定位追踪，也将变得越来越重要。而这，也将为欢创科技带来更多机会。
液晶面板的种类有哪些
摄像头是如何获取彩色图片的？
MAX11612-MAX11617低功耗12位多通道模数转换器(ADC)
空气检测仪，使用的化学传感器很重要
太阳能杀虫灯使用注意事项
欢创科技发布基于视觉与惯性传感定位技术的Camsense XR产品
太阳能电池板特性及工作原理
让汽车更智能、更安全的三种技术途径
人工智能算法 识别禁限物品
预计2013年混合动力车获更高市占
松下发布基于VR/AR的HUD系统
苹果将新Mac Pro生产地从美国转至中国
工业无线路由器的传输距离主要会受哪四方面因素影响
网络通讯协议是什么
未来数据中心的技术发展将朝三个方向发展
传统示波器为什么不能像记录仪一样长时间采集及记录波形？
最新电源管理芯片现货行情分析及预判
华为制定“达芬奇计划”，助力研发高性能的AI芯片
如何使用Eclipse将交互式变基础
场景决定服务机器人行业上限,技术决定服务机器人行业下限