灵境第一剑姬
微软推出融合MR+AI功能的开源平台SIGMA
近日,微软开发并发布了一个用于研究混合现实任务辅助的开源研究平台和试验台原型:情境交互式指导、监测和辅助系统SIGMA。
据了解,SIGMA是一款专为HoloLens 2设计的交互式工具,融合了混合现实和人工智能技术,现已在GitHub上提供。它通过提供指导和回答问题来帮助用户执行分步任务,用户可以然后可以预先定义或动态生成任务,随后SIGMA将使用语言和视觉模型来检测和突出显示环境中的相关对象。它还可以使用Detic和SEEM等视觉模型回答用户问题并检测环境中与任务相关的对象。
微软表示,SIGMA旨在成为一个研究平台。微软将系统开源的目的是帮助其他研究人员跳过将全栈交互式应用程序组合在一起的基本工程挑战,并允许他们直接关注未来有趣的研究挑战。