Sebuah studi terkontrol terhadap 162 peserta menunjukkan bahwa evaluasi model bahasa besar oleh pengguna didorong terutama oleh framing pra-interaksi daripada kemampuan sebenarnya dari model. Peserta diberi tahu bahwa model mereka adalah yang terdepan, lebih tua, atau lebih lemah dari kenyataannya, yang secara signifikan menggeser opini dan perilaku interaksi mereka meskipun kinerja dasarnya identik.

  • Pengguna yang dilebih-lebihkan menilai model lebih positif dan menggunakan prompting yang lebih direktif.
  • Pengguna yang diremehkan menulis prompt yang lebih panjang dan lebih kolaboratif.
  • Kualitas output yang diciptakan bersama hanya bergantung pada kemampuan sebenarnya dari model, bukan pada apa yang dikatakan kepada pengguna.
  • Perubahan kesan pengguna diprediksi oleh apakah model memenuhi ekspektasi dan kepercayaan diri pengguna, bukan kinerja tugas.

Temuan ini menunjukkan bahwa evaluasi LLM yang diekstrak dari pengguna, termasuk data preferensi yang digunakan untuk papan peringkat publik, mengukur manajemen ekspektasi setidaknya sama banyaknya dengan model itu sendiri.