研究者たちは、大規模言語モデルにおける内部表現が、思考連鎖(CoT)推論よりも較正と忠実性へのより直接的な窓を提供するかどうかを調査した。OpenForesight上でEternis-Forecaster 8Bを扱い、中間活性化に対して学習された表現プーリングプローブは、モデルの標準的な出力と比較して大幅に優れた較正を実現した。

  • プローブはまた嘘発見器としても機能し、CoTが摂動を隠蔽している場合でも、行動の変化を追跡し、84%のケースで変化方向を予測した。
  • 証拠アブレーションにより、影響のあるソースを削除すると推論トレース untouchedのまま予測のみが変化することが示され、出力とプロセスの間の乖離が浮き彫りになった。
  • 強制回答により、予測は推論が始まる前にほぼ固定されていることが明らかになり、事前設定された回答分布に基づいて質問をルーティングすることで、精度損失なしに30-47%のトークンを節約した。

これらの結果は、内部表現をプローブすることが言語モデル予測子の較正、監査、トリアージの実用的なツールであることを確立する。