ある研究により、大規模言語モデルが応答の残り長さの内部推定値を維持しており、これは凍結された隠れ状態からデコード可能であることが明らかになった。研究者たちは、この現象を探るために、7つの完成スタイルデータセットにわたる3つのオープンウェイト7-8Bモデルに対して、最小限の容量を持つ線形プローブを訓練した。
- 応答の総長は、出力が生成される前のプロンプトの最後の隠れ状態から線形にデコード可能である。
- プローブの方向性は制御された合成完成へ広く転移し、統計的ベースラインを上回る性能を示す。
- 高損失の完成において、モデルが解決策を撤回して再開するとき、プローブの推定値は上方へシフトする。
これらの知見は、LLMが出力長さに関する計画のような内部表現を維持しており、これはトランスフォーマーの正確な数え上げ不可能性結果とは区別されることを示唆している。