研究人员推出了ELSA3D，这是一种统一的3D基础模型，通过沿匹配的抽象尺度构建语言和几何推理来解决隐式文本-3D交互问题。该模型利用感知尺度的八叉树分词器和稀疏锚点令牌，将语义线索路由到相关的3D尺度，确保精确的跨模态对齐。

  • ELSA3D采用轻量级的逐块路由器，动态确定哪些文本令牌在特定几何尺度上实例化锚点。
  • 这种方法将跨模态容量集中在最需要对齐的地方，同时保持稀疏但精确的交互。
  • 该方法在图像到3D生成、文本到3D生成和3D描述方面达到了最先进水平。

与同一模型的无弹性版本相比，它大致将FLOPs和推理延迟减半。

ELSA3D优于最强的统一基线，同时显著降低了计算成本，为统一的3D任务提供了更高效的解决方案。