https://c1.omgxr.top/b70de0a08592d7caa15a8add74fef8b0 user_v2_2x.png.png
NOLO
NOLO官方账号 2023-06-19 / 来自  产业动态社群 omgxr_s_y1.png.png 158
NOLO正式发布:基于CV定位的6DoF手柄交互方案


从2015年确立自研空间定位技术方案以来,NOLO始终坚持在XR交互领域深耕,希望用技术来为用户带来更多可能。今年至今我们发布了《全新自研的手势识别追踪解决方案》、《全球首款指环型VR控制器NOLO Ring》两项交互方面的新突破——今天,我们正式发布全新自研6DoF空间定位技术StarTraq及定制手柄M2,这也是迄今为止NOLO首款基于CV定位下的新技术方案。



StarTraq采用高精度4目视觉追踪+高精度惯性测量方案,可实现房间级/线下大空间6DoF的Inside-out空间定位技术。通过AI算法模块加持和机器深度学习,在追踪精度上可达到定位准确度1mm,定位延时<5ms。同时NOLO M2手柄可广泛适配于VR一体机、VR分体机、AR眼镜等多种XR产品形态。



高环境适应性,高鲁棒性,抗强光


众所周知,VR 行业核心技术之一便是头部与手部的 6DoF追踪定位,随着VR设备的越来越轻便,大量用户愿意将其携带到室外使用,但目前市面上多数计算机视觉定位的VR设备在强光环境下都会遇到定位失效的问题,用户使用效果大打折扣。这也是我们的技术团队在攻克StarTraq方案的难点。


为了解决强光直射定位丢失的问题,我们四颗高精度摄像头,依靠视觉追踪+高精度惯性测量方案,并通过AI算法模块加持突破了强太阳光照射场景下的视觉追踪难题。结合深度学习技术识别图像中特定的物体,与运动物体的先验知识,更好的去除潜在的动态区域,使得用户即使在强光照射环境下也可正常使用设备。



水平250°,竖直210°超大FOV,快速初始化

解决了强光环境使用的问题后,在日常用户使用中还有另一个常见问题——当手柄移出定位范围后很容易丢失,一旦丢失回正的速度慢会导致延迟明显。针对这个问题,技术研发团队尝试将定位追踪从技术上分为定位初始化阶段和追踪维持阶段。而当前主流的视觉定位方案则是双目完成定位初始化,单目维持追踪。


经过团队努力,我们突破了单目视觉定位即可完成初始化的瓶颈,四颗Camera使手柄被定位FOV达到了水平250°,竖直210°。当手柄完全超出视觉传感器的覆盖范围时,NOLO充分利用惯性测量+基于人体臂肘关节追踪的运动预测,以保证手柄定位的长时稳定流畅追踪。


如果用户在手柄超出定位FOV后,再次重新进入,得益于视觉和惯导定位以及NOLO对用户使用行为习惯进行了大量的建模分析,可保证回正时间在毫秒级,即用户基本无法感知到该部分的延迟。



多平台兼容、多产品适配、支持大空间定位

经深度优化,StarTraq具有良好的跨平台可移植性,除了支持传统的Qualcomm平台外,还可应用于Rockchip等算力平台,适配Android、Windows、Linux等各种操作系统。交互手柄NOLO M2可适配VR一体机、VR分体机、AR眼镜等各种XR产品形态。同时,通过对无线通信进行了深度定制优化,自动感知WiFi干扰自适应跳频,NOLO M2手柄支持大空间多人同时使用6DoF交互。




与StarTraq同步推出的 NOLO M2手柄除了搭载StarTraq定位技术,拥有出色的定位精度和极低的延迟外,手柄还可实现五指识别功能,即通过压力传感器识别手指运动,AI算法可在VR中准确模拟手部动作,为用户提供完整的五指识别体验。


作为NOLO推出的手柄方案,NOLO M2交互手柄拥有更广的有效频宽,振感更加细腻逼真。自研的音频转震动算法,可以使开发者更方便地在游戏中调校触觉反馈的功能,让用户可以享受到更多场景更丰富的振感效果。


此外,我们决定开放StarTraq及NOLO M2手柄对头显摄像头布局SDK的调整,以便于更好满足行业伙伴及客户的功能定制和工业设计需求,帮助快速推出整机产品。


从2015年至今,我们一直将给用户提供多样化的交互方案作为研究重点,从外向内的PolarTraq到内向外的 SodarTraq,到裸手自然交互,再到今天推出的StarTraq技术。这一切都源自于坚持以用户需求为准则,不断为客户带来更沉浸逼真VR体验的初心。