Los investigadores presentan ELSA3D, un modelo base unificado de 3D que aborda las interacciones implícitas texto-3D estructurando el razonamiento lingüístico y geométrico a lo largo de escalas de abstracción coincidentes. El modelo utiliza un tokenizador octree sensible a la escala y Tokens Ancla dispersos para enrutar señales semánticas a las escalas 3D relevantes, asegurando una alineación multimodal precisa.
- ELSA3D emplea un enrutador ligero por bloque para determinar dinámicamente qué tokens de texto instancian anclas en escalas geométricas específicas.
- Este enfoque concentra la capacidad multimodal donde la alineación es más necesaria mientras mantiene una interacción dispersa pero precisa.
- El método alcanza el estado del arte en generación de 3D a partir de imágenes, generación de 3D a partir de texto y descripción de 3D.
- Reduce aproximadamente a la mitad los FLOPs y la latencia de inferencia en comparación con la versión no elástica del mismo modelo.
ELSA3D supera a la línea base unificada más fuerte mientras reduce significativamente los costos computacionales, ofreciendo una solución más eficiente para tareas 3D unificadas.