Penelitian pada lima model yang disesuaikan dengan instruksi dari tiga keluarga (2B hingga 14B) mengidentifikasi dua sumbu terpisah untuk abstensi LLM: kebenaran jawaban dan kemungkinan pertanyaan dapat dijawab. Studi ini menemukan bahwa kepercayaan jawaban biasa melacak apakah sebuah jawaban benar tetapi hampir buta terhadap apakah pertanyaan tersebut dapat dijawab, sementara probe linear pada keadaan tersembunyi mendeteksi ketidakmampuan menjawab.
- Pada pertanyaan premis palsu (CREPE), metrik standar tetap mendekati kebetulan, sedangkan probe keadaan tersembunyi mencapai AUROC 0,69 hingga 0,77.
- Memberi instruksi kepada model untuk memeriksa premis berakibat buruk dengan 57% tantangan palsu, tetapi merutekan instruksi melalui probe menggandakan tiga presisi tantangan.
- Kebijakan terkalibrasi yang bersertifikat baik kemungkinan menjawab maupun skor kebenaran pada cakupan 0,75 mencapai cakupan jawaban benar sebesar 0,31, dibandingkan dengan kegagalan ambang tunggal.
Pendekatan ini memungkinkan laju jawaban tidak dapat dijawab dikendalikan pada setiap skala sambil membatasi laju jawaban salah berdasarkan akurasi model.