Sebuah studi terkontrol menemukan bahwa meskipun model bahasa besar mutakhir tampak robust terhadap konteks yang tidak relevan dengan tugas pada tingkat agregat, stabilitas ini menutupi ketidakstabilan signifikan per-contoh. Menambahkan pseudo-kata yang tidak bermakna secara semantik ke pertanyaan benchmark menyebabkan pergeseran tajam dalam prediksi model pada sebagian kecil contoh.
- Efek dua arah ini menurunkan kinerja pada beberapa contoh sementara meningkatkannya pada contoh lain, dan konsisten di berbagai model dan dataset.
- Contoh yang terpengaruh sebagian besar spesifik-model, dan ketidakstabilan dimodulasi oleh jenis konteks, panjang konteks, komputasi saat pengujian, dan tahap pengembangan model.
Temuan ini mengungkap risiko ekor yang ditimbulkan oleh konteks yang tersembunyi oleh akurasi agregat, sehingga mendorong evaluasi keandalan per-contoh untuk model bahasa.