Les chercheurs présentent ELSA3D, un modèle fondamental 3D unifié qui traite les interactions implicites texte-3D en structurant le raisonnement linguistique et géométrique selon des échelles d'abstraction correspondantes. Le modèle utilise un tokenizeur octree sensible à l'échelle et des jetons d'ancrage clairsemés pour router les indices sémantiques vers les échelles 3D pertinentes, garantissant ainsi une alignement inter-modal précis.
- ELSA3D emploie un routeur léger par bloc pour déterminer dynamiquement quels jetons texte instancient des ancres à des échelles géométriques spécifiques.
- Cette approche concentre la capacité inter-modal là où l'alignement est le plus nécessaire tout en maintenant une interaction clairsemée mais précise.
- La méthode atteint des performances de pointe dans la génération d'image vers 3D, la génération de texte vers 3D et la légende 3D.
- Elle réduit approximativement de moitié les FLOPs et la latence d'inférence par rapport à la version non élastique du même modèle.
ELSA3D surpasse la base unifiée la plus forte tout en réduisant significativement les coûts computationnels, offrant une solution plus efficace pour les tâches 3D unifiées.