1 月 2 日消息，清华大学携手哈佛大学，共同开发了名为 LangSplat 的全新 AI 系统，能够在三维空间内高效、准确地搜索开放式词汇。
LangSplat 是第一个基于 3DGS 的 3D 语言场方法，特别引入了 SAM 和 CLIP，在开放词汇 3D 对象定位和语义分割任务上优于最先进的方法，同时比 LERF 快 199 倍。
加州大学伯克利分校的研究人员于 2023 年 3 月展示了语言嵌入式辐射场（LERF），将语言嵌入从现成模型（如 CLIP）嵌入到 NeRF 中，从而在不需要专门培训的情况下，在三维环境中准确识别物体。
例如在书店的 NeRF 环境中，用户可以用自然语言搜索特定的书名。这项技术还可用于机器人技术、模拟机器人的视觉训练以及人类与三维世界的互动。
不过 LERF 的短板在于不适合实时搜索，且搜索结果准确率低。
LangSplat 为了解决这个短板，使用 3D Gaussians 构建 3D 语言场，避免了 NeRFs 所需的复杂渲染过程，在 1440 x 1080 像素的分辨率下，LangSplat 比 LERF 快 199 倍。
团队展示了泡有茶叶的茶杯，LERF 标记的是两个杯子，而 LangSplat 标记的是杯子中的液体。在另一个例子中，它可以标记一碗拉面汤中的单个配料。
LangSplat 为了形成 3D 语言场，使用 Meta 的“分段任意模型”（Segment Anything Model）从场景的多幅图像中学习分层语义。
具体来说，图像会被分解成边界清晰的不同物体掩码，而物体又会被进一步分解成整体、部分和子部分。
然后，CLIP 对学习到的遮罩进行处理，其嵌入会训练一个自动编码器，然后用于训练 LangSplat 的 3D Gaussian Splatting。
研究人员使用 LERF 和 3D OVS 两个数据集对 LangSplat 进行测试，结果显示总体准确率分别达到了 84.3% 和 93.4%，而 LERF 分别为 73.6% 和 86.8%。
附上论文参考地址：https://arxiv.org/pdf/2312.16084.pdf