著者らは、ELSA3Dを提案する。これは、言語と幾何学的推論を一致した抽象化スケールに沿って構造化することで、暗黙的なテキスト-3D相互作用に対処する統一された3Dファウンデーションモデルである。このモデルは、スケール認識型オクトリートークナイザーを利用し、意味的な手がかりを関連する3Dスケールにルーティングする疎なクロスモーダル単位であるアンカートークンを導入する。

  • アンカートークンは意味的な手がかりを選択し、スケール固有の幾何学的証拠を取得し、融合された信号を統一表現に戻して書き込む。
  • 軽量なブロックごとのルーターは、特定の幾何学的スケールでどのテキストトークンがアンカーをインスタンス化するかを決定することで、計算と推論を弾性的にする。
  • ELSA3Dは、画像から3Dへの生成、テキストから3Dへの生成、および3Dキャプションにおいて最先端のパフォーマンスを実現する。
  • このアプローチは、同じモデルの非弾性版と比較して、FLOPsと推論レイテンシーを半減させる。

この手法により、クロスモーダルな容量がアライメントが最も必要な場所に集中し、パフォーマンスを犠牲にすることなく効率性を向上させる。