研究により、DeepSeek V3やKimi K2などの最先端モデルが、連鎖的思考を伴わないコンテンツフリーのフィラータークンに対して多段階推論を実行することが明らかになった。これにより、表面のトークンが基盤となる推論に関する情報を一切持たないという行動的監視の限界ケースが生じる。

  • アテンションは質問をフィラー領域を通じて回答へルーティングし、logit-lensの読み取り結果は早期層で事実の取得、後期層で合成を示している。
  • フィラー位置におけるKV-cacheの移植により、例間で出力が因果的に入れ替わる。
  • 教師なしデコーディングパイプラインにより、正解ラベルや学習なしで4つのタスクファミリー全体にわたり80-95%の精度で中間値が回復された。

これらの知見は、監視可能性がモデルの表面トークンだけでなく、その完全な計算トレースのプロパティであることを示唆している。