Penelitian mengungkapkan bahwa model terdepan seperti DeepSeek V3 dan Kimi K2 melakukan penalaran multi-langkah atas token pengisi tanpa konten tanpa chain-of-thought yang terlihat. Hal ini menciptakan kasus batas pengawasan perilaku di mana token permukaan tidak membawa informasi apa pun tentang penalaran mendasar.

  • Attention merutekan pertanyaan melalui wilayah pengisi ke jawaban, dengan pembacaan logit-lens menunjukkan pengambilan fakta di lapisan awal dan komposisi di lapisan akhir.
  • Transplantasi KV-cache pada posisi pengisi secara kausal menukar output antar contoh.
  • Sebuah pipeline dekoding tanpa pengawasan memulihkan nilai antara dengan akurasi 80-95% di empat keluarga tugas tanpa label ground-truth atau pelatihan.

Temuan ini menunjukkan bahwa monitorabilitas adalah properti dari jejak komputasi penuh model, bukan hanya token permukaannya.