Les auteurs présentent ELSA3D, un modèle fondamental 3D unifié qui adresse l'interaction implicite texte-3D en structurant le raisonnement linguistique et géométrique selon des échelles d'abstraction appariées. Le modèle utilise un tokenizeur octree sensible à l'échelle et introduit les Anchor Tokens, des unités cross-modales clairsemées qui routent les indices sémantiques vers les échelles 3D pertinentes.
- Les Anchor Tokens sélectionnent les indices sémantiques, récupèrent les preuves géométriques spécifiques à l'échelle, et écrivent le signal fusionné dans la représentation unifiée.
- Un routeur léger par bloc rend le calcul et le raisonnement élastiques en déterminant quels tokens texte instancient des ancres à des échelles géométriques spécifiques.
- ELSA3D atteint des performances de pointe dans la génération d'images vers 3D, la génération de texte vers 3D, et la légende 3D.
- L'approche divise par deux les FLOPs et la latence d'inférence par rapport à la version non élastique du même modèle.
Cette méthode permet à la capacité cross-modale de se concentrer là où l'alignement est le plus nécessaire, améliorant l'efficacité sans sacrifier la performance.