Penelitian yang mencakup lima model yang disetel dengan instruksi dari tiga keluarga (2B hingga 14B) menunjukkan bahwa penolakan model melibatkan dua sumbu yang berbeda: kebenaran jawaban dan kemungkinan pertanyaan dapat dijawab. Studi ini menemukan bahwa skor kepercayaan standar melacak kebenaran tetapi hampir buta terhadap apakah pertanyaan benar-benar dapat dijawab, terutama pada pertanyaan dengan premis palsu.
- Probe linear pada keadaan tersembunyi dapat mendeteksi pertanyaan yang tidak dapat dijawab dengan AUROC 0,69 hingga 0,77, sedangkan metrik standar seperti P(IK) dan P(True) tetap mendekati kebetulan.
- Memberi instruksi kepada model untuk memeriksa premis berakibat buruk, menyebabkan mereka membantah premis yang valid (57% bantahan palsu), sementara pengarahan instruksi melalui probe menggandakan tiga presisi bantahan.
- Kebijakan terkalibrasi yang menggunakan skor kemungkinan jawaban dan kebenaran terpisah menjamin cakupan 0,75 dari jawaban benar pada ambang batas 0,75, dibandingkan hanya 0,31 untuk satu ambang batas.
Pendekatan ini memungkinkan tingkat jawaban tidak dapat dijawab dikendalikan pada setiap skala sambil membatasi tingkat jawaban salah berdasarkan akurasi model, memberikan jaminan yang lebih ketat daripada metode ambang tunggal.