研究人员可以拍摄图像并将其用作参考点来创建虚拟世界、物体或人。

    随着公司探索通过数字孪生实现元宇宙，快速轻松地构建风格化 3D 内容和虚拟世界的能力只会变得更加重要。

    康奈尔大学最近发表的一篇论文探讨了这一增长趋势，并开发了一种用于生成风格化神经辐射场 (SNeRF) 的解决方案，该解决方案可用于以比传统方法更快的速度创建各种动态虚拟场景。

    使用各种参考图像，Thu Nguyen-Phuoc、Feng Liu和Lei Xiao的研究团队能够生成可用于各种虚拟环境的风格化 3D 场景。例如，想象一下戴上 VR 头戴设备，通过巴勃罗·毕加索 (Pablo Picasso) 的画作等风格化镜头观察现实世界的样子。

    这个过程使团队不仅可以快速创建虚拟对象，还可以利用他们的真实世界环境作为虚拟世界的一部分进行 3D 对象检测。
值得注意的是，研究团队还能够在同一视点通过不同的视角观察同一物体，也就是所谓的跨视角一致性。在 VR 中观看时，这会产生身临其境的 3D 效果。

    通过交替使用 NeRF 和风格化优化步骤，研究团队能够拍摄图像并将其用作参考风格，然后以适应该图像风格化的方式重新创建真实世界的环境、对象或人，从而加快创作进程。

    “我们引入了一种新的训练方法，通过交替使用 NeRF 和程式化优化步骤来解决这个问题，”该团队说。“这种方法使我们能够充分利用我们的硬件内存容量来生成更高分辨率的图像，并采用更具表现力的图像风格转换方法。我们的实验表明，我们的方法可以为包括室内、室外和动态场景在内的各种内容生成风格化的 NeRF，并合成具有跨视图一致性的高质量新颖视图。”

    由于 NeRF 的内存限制，研究人员还必须解决另一个问题，即如何以更接近实时的速度渲染更多高清 3D 图像。解决方案是创建一个渲染视图循环，每次迭代都能够在每次通过时更一致地定位样式化点，然后重建具有更多细节的图像。

 
    该技术还改进了头像。研究团队的 SNeRF 程式化方法让他们创建了一个在对话中更具表现力的头像。结果是动态 4D 化身可以真实地传达愤怒、恐惧、兴奋和困惑等情绪，而无需使用表情符号或按下 VR 控制器上的按钮。

    研究工作仍在继续，但目前该团队能够使用影响环境和化身的隐式神经表示来开发 3D 场景风格化方法。此外，他们使用交替风格化方法的方法使他们能够充分利用硬件内存能力来对静态和动态 3D 场景进行风格化，从而使团队能够生成更高分辨率的图像并采用更具表现力的图像风格转换VR中的方法。