本論文は、マルチモーダル大規模言語モデル（MLLM）が連続する潜在空間内で構造化された視覚的推論を実行できるようにするフレームワークであるProLaViT（Progressive Latent Visual Thought）を紹介しています。外部の専門家に依存するアプローチとは異なり、モデル自身の視覚エンコーダーが潜在思考を監督する内生的な自己蒸留メカニズムを使用します。

  • 推論時のツールなしでアルゴリズム的な精密さを内部化するために、スケーラブルなプログラム的合成パイプラインを利用しています。
  • このフレームワークは2つの推論パラダイムを設計しています：空間タスク用のCoarse-to-Fine Causal Chainと論理タスク用のDialectical Reasoning Chainです。
  • トポロジー認識の制約を課し、特徴量の退化を防ぐために、Distance-Weighted Diversity Lossが提案されています。

実験により、ProLaViTは視覚中心のベンチマークでベースラインを上回り、高い効率性とともに優れた精度と解釈可能性を実現していることが示されました。