研究者は、視覚認識のボトルネックと知識取得の欠如を区別することで、ビジョン言語モデルが失敗する理由を診断するための統合フレームワークを提案している。この研究は、生成前のシグナルがさまざまなデータセットやモデルファミリーにわたってこれらの特定の失敗の原因を予測できるかどうかを検証している。

  • 視覚的または認識のボトルネックに起因する失敗は、ビジュアルトークン表現によって最もよく捉えられる。
  • エンティティ識別後に残る誤りは、プロンプト条件付きの隠れ状態によってよりよく予測される。
  • これらの生成前のシグナルにより、モデルが回答を生成する前に効率的な失敗原因の予測が可能になる。
  • 不確実なケースは、画像修復、エンティティ認識支援、または外部検索などの対象的な介入にルーティングできる。

このアプローチにより、VLMにおける不確実性のより精密な診断が可能になり、誤った回答を一括りの失敗として扱うのではなく、特定の是正措置を可能にする。