研究者は、ビジョン・ランゲージモデル（VLM）が内部に正しいカウントをエンコーディングしているにもかかわらず、オブジェクトの計数で苦戦する理由を探っている。彼らは、非線形プローブがこれらのエラーを検出できることを発見し、内部表現と言語化された出力の間に不一致があることを明らかにした。

  • 5つのデータセットにわたる4つのVLMの活性化からプローブを訓練すると、モデルは間違った答えを出力していても正しいカウントをエンコーディングしていることが多いことが示された。
  • SVCCA分析により、正解カウントとモデル出力から訓練されたプローブが部分的に共有される活性化部分空間に位置しているが、不一致のある方向に沿って読み出されることが明らかになった。
  • 因果的ステアリング介入により、カウントを識別するプローブの方向を強化することが計数性能の向上につながることが証明された。
  • 検出器誘導自己修正手法は、内部エラー検出器が失敗を予測した場合のみモデルに再プロンプトを行う。

この推論時の介入は、パラメータ更新なしで計数精度を最大15.6絶対パーセントポイント向上させ、活性化ベースのエラープロービングがVLMを改善するための実用的なツールであることを確立した。