NVIDIAの研究チームは、マルチモーダル大規模言語モデル（MLLMs）の空間知能を分解するために設計された診断フレームワークであるSpatial-IQを発表しました。既存のベンチマークがモデルをブラックボックスとして扱うのとは異なり、このアプローチは、積み重ねられた3D構造における物体数え上げを、人間の発達段階と一致する9つの知覚・認知サブタスクに分解します。

  • このフレームワークはNVIDIA Isaac Simを利用して、各サブタスクごとに正解ラベルを持つ約8万件の積み重ねられた3D構造のデータセットを程序化して生成します。
  • 自由記述テキスト、複数選択画像、画像編集形式にわたる評価により、トップパフォーマンスのモデルがターゲットタスクでは成功しながらも低レベルのサブタスクで失敗することが多く、ショートカット行動を示していることが明らかになりました。
  • この研究は、これらの階層的サブタスクに対する思考過程の監督付き学習と、検証可能な報酬を用いた強化学習を組み合わせることで、空間的一貫性とターゲットタスクの精度の両方が大幅に向上することを示しています。

この分解は、特定の失敗モードを特定するための診断ツールとして、またMLLMsにおける空間推論の堅牢性を高めるための効果的な学習信号として機能します。