Pesquisadores apresentam o ELSA3D, um modelo base unificado de 3D que aborda interações implícitas texto-3D estruturando o raciocínio linguístico e geométrico ao longo de escalas de abstração correspondentes. O modelo utiliza um tokenizador octree sensível à escala e Tokens Âncora esparsos para rotear sinais semânticos para as escalas 3D relevantes, garantindo alinhamento multimodal preciso.
- O ELSA3D emprega um roteador leve por bloco para determinar dinamicamente quais tokens de texto instanciam âncoras em escalas geométricas específicas.
- Esta abordagem concentra a capacidade multimodal onde o alinhamento é mais necessário, mantendo uma interação esparsa, porém precisa.
- O método atinge desempenho de estado da arte em geração de 3D a partir de imagens, geração de 3D a partir de texto e legendagem de 3D.
- Ele reduz aproximadamente pela metade os FLOPs e a latência de inferência em comparação com a versão não elástica do mesmo modelo.
O ELSA3D supera a linha de base unificada mais forte enquanto reduz significativamente os custos computacionais, oferecendo uma solução mais eficiente para tarefas 3D unificadas.