Sebuah studi menguraikan non-determinisme dalam rekomendasi merek model bahasa besar (LLM) menjadi empat sumber yang dapat dipisahkan: resampling dalam-prompt, parafrasa prompt, identitas model, dan bahasa kueri. Menggunakan analisis efek acak silang pada 12.933 respons di seluruh tiga model dan delapan bahasa, penulis mengidentifikasi bahasa kueri sebagai sumber varians terbesar sebesar 26,5%, sementara identitas merek hanya menyumbang 1,5%.
- Bahasa kueri menjelaskan 26,5% dari varians respons, sedangkan identitas merek berkontribusi hanya 1,5% (ICC 0,0146).
- Resampling murni menyumbang 34,8% dari varians, dan interaksi merek-dalam-konteks menjelaskan 29,6%.
- Interaksi merek-bahasa menyumbang 8,6% dari varians, menunjukkan penalti dwibahasa.
- Interaksi merek-model dan merek-prompt mendekati nol.
- Menambahkan bahasa dan model mengurangi varians kesalahan relatif lebih efektif daripada menambahkan pengulangan; pengulangan kelima hanya mengurangi kesalahan sebesar 0,0003.
Penulis menyimpulkan bahwa keandalan peringkat merek tetap rendah (mendekati 0,01 untuk satu jawaban) dan harus ditingkatkan dengan menyebarkan evaluasi di seluruh bahasa dan model alih-alih mengulang prompt.