Os autores apresentam o ELSA3D, um modelo fundamental unificado de 3D que aborda a interação implícita texto-3D estruturando o raciocínio linguístico e geométrico ao longo de escalas de abstração correspondentes. O modelo utiliza um tokenizador octree sensível à escala e introduz Anchor Tokens, que são unidades cruzadas modais esparsas que roteiam sinais semânticos para as escalas 3D relevantes.
- Os Anchor Tokens selecionam sinais semânticos, recuperam evidência geométrica específica da escala e escrevem o sinal fundido de volta na representação unificada.
- Um roteador leve por bloco torna o cálculo e o raciocínio elásticos ao determinar quais tokens de texto instanciam âncoras em escalas geométricas específicas.
- O ELSA3D alcança desempenho state-of-the-art em geração de imagem para 3D, geração de texto para 3D e legendagem 3D.
- A abordagem reduz pela metade os FLOPs e a latência de inferência em comparação com a versão não elástica do mesmo modelo.
Este método permite que a capacidade cruzada modal se concentre onde o alinhamento é mais necessário, melhorando a eficiência sem sacrificar o desempenho.