Авторы представляют ELSA3D, унифицированную 3D фундаментальную модель, которая решает проблему неявного взаимодействия текста и 3D путем структурирования языкового и геометрического рассуждения вдоль согласованных шкал абстракции. Модель использует октодеревный токенизатор с учетом масштаба и вводит Якорные Токены (Anchor Tokens), которые являются разреженными кросс-модальными единицами, маршрутизирующими семантические сигналы к соответствующим 3D масштабам.
- Якорные Токены выбирают семантические сигналы, извлекают геометрические доказательства для конкретного масштаба и записывают слитый сигнал обратно в унифицированное представление.
- Легковесный маршрутизатор на блок делает вычисления и рассуждение эластичными, определяя, какие текстовые токены инстанцируют якоря на конкретных геометрических масштабах.
- ELSA3D достигает состояния передового опыта (state-of-the-art) в генерации 3D по изображению, генерации 3D по тексту и 3D подписыванию.
- Подход вдвое снижает FLOPs и задержку вывода по сравнению с неэластичной версией той же модели.
Этот метод позволяет кросс-модальной емкости концентрироваться там, где выравнивание наиболее необходимо, улучшая эффективность без ущерба для производительности.