Sebuah studi mengungkapkan bahwa model bahasa besar mempertahankan perkiraan internal mengenai panjang respons yang tersisa, yang dapat didekode dari state tersembunyi yang dibekukan. Para peneliti melatih probe linier berkapasitas minimal pada tiga model open-weight 7-8B di tujuh dataset gaya penyelesaian untuk menyelidiki fenomena ini.
- Panjang total respons dapat didekode secara linear dari state tersembunyi terakhir prompt sebelum output apa pun dihasilkan.
- Arah probe mentransfer secara luas ke penyelesaian sintetis yang dikontrol, mengungguli baseline statistik.
- Pada penyelesaian dengan loss tinggi, perkiraan probe bergeser ke atas ketika model menarik kembali dan memulai ulang solusi.
Temuan ini menunjukkan bahwa LLM mempertahankan representasi internal seperti rencana untuk panjang output, yang berbeda dari hasil ketidakmungkinan penghitungan eksak untuk transformer.