Para penulis memperkenalkan Epistemic Stance Flexibility Probing (ESFP), sebuah benchmark perilaku yang dirancang untuk mengukur seberapa baik model bahasa besar membedakan antara prompt yang diatribusikan secara eksternal dan yang diatribusikan sendiri. ESFP mengevaluasi kemampuan ini di enam kategori epistemik menggunakan 104 item terkontrol, menilai atribusi diri leksikal, responsivitas tingkat representasi, kepadatan konten sikap, dan konsistensi lintas kondisi.
- Evaluasi terhadap delapan model terdepan dari lima vendor menunjukkan bahwa fleksibilitas epistemik sebagian besar ortogonal terhadap kemampuan model umum.
- Model open-weight 27B menyamai kinerja sistem proprietary terkuat dalam metrik spesifik ini.
- Model andalan satu keluarga berkinerja lebih rendah dibandingkan versi ringannya, dan model yang dioptimalkan untuk penalaran tidak secara konsisten menunjukkan fleksibilitas yang lebih tinggi.
- Kepadatan konten sikap memberikan sinyal terkuat untuk mengukur fleksibilitas, sedangkan penanda leksikal permukaan seperti 'I think' dapat berubah tanpa pergeseran yang sesuai dalam sikap yang diungkapkan.
ESFP mengukur kecenderungan model untuk menyesuaikan sikap epistemiknya di bawah kondisi atribusi yang berubah, bukan sebagai ukuran kompetensi umum.