立体色彩直通、空间锚定和场景理解将提供更逼真的混合现实体验。

    Meta 的产品经理 Sarthak Ray 表示，通过混合现实看到周围世界并与之互动的能力为 VR 开辟了新的机会。“你可以在同一个物理房间里与朋友一起玩，或者将巨大的虚拟显示器与物理工具相结合的生产力体验，这是我们朝着增强现实的长期愿景迈出的一步。”

    与流行的看法相反，如果 VR/AR 设备能够令人信服地融合物理世界和虚拟世界，那么混合现实体验是最有效的。根据Oculus.com上最近的一篇博客文章，这意味着头戴式设备必须做的不仅仅是提供 2D 视频输入。

    为了进一步致力于开发尖端 VR 技术，Meta 宣布推出 Meta Reality，这是一种新的混合现实系统，可以深入了解创造非凡体验的要素。

用于空间感知的立体颜色直通

    Meta 认识到色彩直通和立体 3D 技术在提供舒适和身临其境的混合现实体验方面的重要性。

    “Meta Quest Pro 结合了两个摄像头视图来重建逼真的深度，这确保了使用颜色直通构建的混合现实体验对人们来说是舒适的，”Meta 计算机视觉工程经理 Ricardo Silveira Cabral 解释说。“而且，即使深度重建不完美或超出系统的范围，立体纹理提示也能让用户的大脑完成其余工作并推断深度。”

例如，当使用 Passthrough 时，您的大脑会了解到咖啡杯离您的手的距离与它离您旁边的笔的距离差不多。

Oculus Insight 只能捕捉 100 个兴趣点以确定头显在房间中的位置，这项技术为消费者 VR 设备提供了第一个独立的跟踪系统。此后，它已升级为启用深度传感。相比之下，Meta Quest Pro 在不同的光照条件下每秒可以产生多达 10,000 个兴趣点，让您可以实时创建物理空间的改进 3D 表示。

通过这个过程，Meta 能够创建一个不断更新的物理世界的 3D 模型。然后，您可以使用这些数据创建一个预测渲染框架，该框架可以生成真实环境的图像。为了补偿渲染的延迟，通过异步 TimeWarp算法将重建调整为用户的左眼和右眼视图。

根据 Silveira Cabral 的说法，彩色立体相机的使用使团队能够对现实世界进行更逼真的解释。

将虚拟内容融入物理世界的场景理解

    Presence Platform 的场景理解组件是在 Connect 2021 活动期间推出的。该技术使开发人员能够创建复杂且场景感知的混合现实体验。据 Meta Quest Pro 产品经理 Wei Lyu 介绍，该公司的 Scene Understanding 组件旨在帮助开发者专注于构建他们的业务和体验。

    “我们将场景理解作为系统解决方案引入，”Lyu 说。

    场景理解分为三个方面：

    场景模型 ——由几何和语义信息组成的单一、综合、最新和系统管理的环境表示。场景模型的基本元素是锚点。每个 Anchor 都可以连接到各种组件。例如，用户的起居室是围绕带有语义标签的单个锚点组织的，例如地板、天花板、墙壁、桌子和沙发。锚点附有简单的几何表示：2D 边界或 3D 边界框。

    场景捕捉——一个系统引导的流程，让用户四处走动并捕捉他们的房间建筑和家具以生成场景模型。未来，目标将是提供一个自动化版本的场景捕捉，不需要人们手动捕捉周围环境。

    Scene API – 一个接口，应用程序可以使用该接口访问场景模型中的空间信息，用于各种用例，包括内容放置、物理、导航等。使用 Scene API，开发人员可以使用场景模型让虚拟球从物理上反弹实际房间中的表面或可以缩放物理墙壁的虚拟机器人。

    “场景理解减少了开发人员的摩擦，让他们通过实时遮挡和碰撞效果构建尽可能可信和身临其境的 MR 体验，”Ray 补充道。

用于虚拟对象放置的空间锚点

    开发人员可以使用 Spatial Anchors 轻松创建一流的混合现实体验，这是 Meta Quest Pro 平台的核心功能。例如，产品设计师可以使用Gravity Sketch等平台轻松地在整个物理空间中锚定多个 3D 模型，从而为其产品创建无缝环境。

    Meta 产品经理 Laura Onu 表示：“如果说立体色彩直通和场景理解为让 MR 体验融合物理世界和虚拟世界起到了举足轻重的作用，那么我们的锚定功能则提供了将它们结合在一起的结缔组织。”

    与场景模型一起，空间锚点可用于为各种体验和情况创建丰富且自动的环境。例如，您可以创建一个连接到实体墙的虚拟门。对于将 XR 技术用于数字孪生、仓库自动化甚至机器人技术的企业解决方案的公司来说，这将是一个巨大的进步。

    目前看来，Meta 更侧重于社交体验。“通过将 Scene Understanding 与 Spatial Anchors 相结合，你可以将你的 MR 体验融合并适应用户的环境，从而创造一个充满可能性的新世界，”Onu 补充道，“你可以成为自己客厅里的秘密特工，将虚拟家具放在您的房间或绘制房屋的延伸部分，创建物理游戏等等。”

用于同地体验的共享空间锚点

    此外，Meta 还在 Presence Platform 中添加了 Shared Spatial Anchors 功能。这允许您通过与同一空间中的其他用户共享您的锚点来创建本地多人游戏体验。这将允许您和其他朋友在物理桌子上玩 VR 棋盘游戏，就像Tilt Five提供他们的游戏体验。

混合现实的成功组合

    Spatial Anchors、Passthrough 和 Scene Understanding 的结合可以帮助创建一个丰富的交互式环境，其设计看起来和感觉起来都像真实世界。Meta Quest Pro 的产品经理 Avinav Pashine 指出，为用户创建一个很棒且舒适的混合现实环境涉及许多权衡。

    Meta Reality 的未来仍在不断发展，因为该公司通过软件更新和将在其下一代产品中提供的硬件创新不断改进平台。Meta Quest Pro 产品经理 Silveira Cabral 指出，该公司的第一款产品是 Meta Reality 进化过程中的重要一步。

     “我们希望与开发人员一起学习，因为他们正在构建引人入胜的体验，重新定义 VR 设备的可能性。这个故事还没有完成——这只是第一页。”