Исследователи представляют ELSA3D, унифицированную 3D базовую модель, которая решает проблему неявных текстово-3D взаимодействий путем структурирования языкового и геометрического рассуждения вдоль согласованных масштабов абстракции. Модель использует октодеревный токенизатор с учетом масштаба и разреженные Якорные Токены для маршрутизации семантических сигналов к соответствующим 3D масштабам, обеспечивая точное межмодальное выравнивание.

  • ELSA3D использует легкий маршрутизатор на уровне блока для динамического определения того, какие текстовые токены создают якоря на конкретных геометрических масштабах.
  • Этот подход концентрирует межмодальную емкость там, где выравнивание наиболее необходимо, сохраняя при этом разреженное, но точное взаимодействие.
  • Метод достигает состояния передового опыта в генерации 3D по изображению, генерации 3D по тексту и 3D описыванию.
  • Он примерно вдвое снижает FLOPs и задержку вывода по сравнению с неэластичной версией той же модели.

ELSA3D превосходит сильнейшую унифицированную базовую линию, значительно снижая вычислительные затраты, предлагая более эффективное решение для унифицированных 3D задач.