NOLO
NOLO官方账号
2023-02-13
/
来自
产业动态社群
64
NOLO携手腾讯搜狗输入法，推出VR专属输入方案
近日，继全新自研的手势识别追踪技术正式发布后，我们又携手腾讯搜狗输入法，推出了首款VR专属输入方案。更为荣幸的是，凭借更加自然直观的操作方式，这项手势识别技术将成为GSXR标准下交互输入技术方案的新范式补充。
作为GSXR的重要成员，我们也在此向大家宣布：这项技术不仅搭载于NOLO SONIC 2设备，还将合作开放给CCSA扩展现实产业及标准推进委员会的成员，助力中国XR产业的快速发展。
2021年3月，由中国移动牵头，联合产业伙伴发起的中国XR通用标准（GSXR）正式对外发布，并在CCSA扩展现实产业及标准推进委员会引领下在产业中快速推广。这一标准是为了构建中国的XR跨平台互通体系，让行业参与者只要基于该标准进行硬件、平台、内容开发，即可确保其所开发的软件应用可以运行在针对该标准做过适配的硬件上。
GSXR标准的正式实施，不仅为XR行业提供了通用接口规范，降低了开发者接入成本；同时将软件功能集成SDK的形式，服务于XR行业，极大的降低了XR软硬件适配难度，加速推动了行业发展。
腾讯搜狗输入法正是通过此种路径，成为了GSXR标准内首个「中文输入」解决方案，也是标准内重要的人机交互解决方案之一。其为XR系统提供了专属、智能和高效的语音输入和键盘输入模式。由其行业首创的语音输入，让用户解放双手，动动嘴就能打字。
搜狗通过软硬件结合的方式进行创新，优化手柄输入体验，提升输入效率；结合手势算法能力，还可进行裸手输入，让用户体验到更沉浸，更智能的输入方式。当下搜狗VR输入法已服务于中国XR行业的硬件产品，在我们与中国移动的联合品牌VR终端中，作为首个基线产品实现应用落地。
我们发布的手势追踪技术同样基于GSXR标准协议研发，开发者可以通过GSXR的通用API接口，使用XR特性模块中的手势识别、骨骼节点、捏合姿态、手部追踪等功能用于XR应用开发。为了方便开发者快速上手开发XR应用，GSXR提供了Unreal SDK、Unity SDK详细的说明文档以及论坛讨论功能。对接完毕后，用户可在XR设备内实现裸手进行点、按、选择、拖拽等更加自然和沉浸的操作。
凭借人工智能的深度学习技术，我们的技术团队借助真实手部图像和3D生成手部图像进行数据融合训练。用数百万张手部图像训练了一个专门的深度神经网络，其中手腕和手指拥有3D空间位姿；为了保证识别的实时性，我们深度优化网络结构，保障在骁龙XR2芯片上单帧识别速度达到5ms以下；此外，我们的深度学习算法通过动态提取多帧数据中的手势信息，提高动作连贯性，达到了流畅丝滑的识别效果。
GSXR标准已执行2年，CCSA扩展现实产业及标准推进委员会将进一步推动扩展现实标准实施与落地，研发适合产业发展的测试解决方案，开展产品的测试认证，探索新应用模式，服务应用开发者，建设健康可持续的产业生态。
接下来，中国移动（终端公司及咪咕文化）将依托GSXR统一标准，汇聚全领域内容，提供“标准-内容（应用）-平台”的一站式服务，打造“一个平台、N个内容资源、N个应用服务”的“1+N+N”服务体系，对外开放XR通用能力，提供端到端的解决方案。从标准、内容、终端等多方面，构建全领域XR矩阵，将XR技术赋能应用在教育、医疗、工业、体育、演艺等多个领域与场景。并以开放的态度，与产业伙伴一道共同建设健康的XR大生态，助力中国XR产业快速发展。
