Peneliti menyelidiki apakah representasi internal dalam model bahasa besar memberikan jendela yang lebih langsung ke kalibrasi dan kesetiaan daripada penalaran rantai-pemikiran (CoT). Bekerja dengan Eternis-Forecaster 8B di OpenForesight, mereka melatih probe pengelompokan representasi pada aktivasi perantara yang mencapai kalibrasi jauh lebih baik dibandingkan output standar model.
- Probe juga berfungsi sebagai detektor kebohongan, melacak pergeseran perilaku dan memprediksi arah perubahan dalam 84% kasus bahkan ketika CoT menyembunyikan gangguan.
- Ablasi bukti menunjukkan bahwa menghapus sumber berpengaruh sering mengubah prakiraan sambil meninggalkan jejak penalaran tidak tersentuh, menyoroti ketidaksesuaian antara output dan proses.
- Menjawab secara paksa mengungkapkan prakiraan sebagian besar tetap sebelum penalaran dimulai; merutekan pertanyaan dengan distribusi jawaban prasetetef hemat 30-47% token tanpa kehilangan akurasi.
Hasil-hasil ini menetapkan pengujian representasi internal sebagai alat praktis untuk mengkalibrasi, mengaudit, dan men-triage prakira model bahasa.