Los autores presentan ELSA3D, un modelo base unificado de 3D que aborda la interacción implícita texto-3D estructurando el razonamiento lingüístico y geométrico a lo largo de escalas de abstracción coincidentes. El modelo utiliza un tokenizador octree sensible a la escala e introduce Anchor Tokens, que son unidades cruzadas modales dispersas que enrutan señales semánticas a las escalas 3D relevantes.
- Los Anchor Tokens seleccionan señales semánticas, recuperan evidencia geométrica específica de la escala y escriben la señal fusionada de vuelta en la representación unificada.
- Un enrutador ligero por bloque hace que el cómputo y el razonamiento sean elásticos al determinar qué tokens de texto instancian anclajes en escalas geométricas específicas.
- ELSA3D alcanza el estado del arte en generación de imagen a 3D, generación de texto a 3D y subtítulos 3D.
- El enfoque reduce la mitad los FLOPs y la latencia de inferencia en comparación con la versión no elástica del mismo modelo.
Este método permite que la capacidad cruzada modal se concentre donde el alineamiento es más necesario, mejorando la eficiencia sin sacrificar el rendimiento.