研究者らは、言語と幾何学的推論を一致した抽象化スケールに沿って構造化することで、暗黙的なテキスト-3D相互作用に対処する統合3D基盤モデルであるELSA3Dを紹介している。このモデルは、スケール認識型オクトリートークナイザーとスパースアンカートークンを利用し、意味的カスを関連する3Dスケールにルーティングして、正確なクロスモーダルアライメントを実現する。

  • ELSA3Dは、軽量なブロックごとのルーターを採用し、特定の幾何学的スケールでどのテキストトークンがアンカーをインスタンス化するかを動的に決定する。
  • このアプローチは、スパースながらも正確な相互作用を維持しつつ、アライメントが最も必要とされる場所にクロスモーダル容量を集約する。
  • この手法は、画像から3Dへの生成、テキストから3Dへの生成、および3Dキャプション付けにおいて最先端のパフォーマンスを実現している。
  • 同じモデルの非弾性版と比較して、FLOPsと推論レイテンシーをほぼ半減させる。

ELSA3Dは、最も強力な統合ベースラインを上回りながら計算コストを大幅に削減し、統合3Dタスクに対するより効率的なソリューションを提供する。