Sebuah studi menantang asumsi bahwa respons yang diprompt secara andal mencerminkan nilai model dengan membandingkan bagaimana model bahasa besar menangani kueri objektif versus subjektif. Para peneliti mengevaluasi empat keluarga model yang disetel instruksi di tiga dataset objektif (MMLU, ARC, CulturalBench) dan tiga dataset subjektif (Political Compass Test, ValueBench, World Values Survey). Dengan menerapkan berbagai perubahan prompt ke setiap pertanyaan, mereka mengukur apakah model mempertahankan jawaban yang konsisten di seluruh varian.
- Efek signifikan ditemukan untuk model, dataset, kategori prompt, dan interaksinya menggunakan persamaan estimasi umum binomial.
- Interaksi antara jenis dataset dan kategori prompt sangat besar, menunjukkan bahwa ketahanan bervariasi secara signifikan berdasarkan sifat pertanyaan.
- Hasil menunjukkan bahwa ketahanan prompt tidak seragam tetapi sangat bergantung pada jenis pertanyaan spesifik, jenis perubahan prompt yang diterapkan, dan arsitektur model.
Temuan ini menunjukkan bahwa evaluasi bergaya survei yang memperlakukan respons sebagai bukti nilai politik atau sikap sosial rapuh, karena konsistensi tidak dapat diasumsikan di seluruh jenis pertanyaan yang berbeda.