Sebuah studi eksploratif menunjukkan bahwa model bahasa besar menunjukkan asimetri fungsional antara produksi dan persepsi bahasa, meskipun menggunakan mekanisme prediksi token berikutnya yang sama untuk keduanya. Dengan mengukur probabilitas token secara langsung daripada mengandalkan prompting metalinguistik, peneliti menemukan bahwa framing prompt saja menginduksi distribusi probabilitas yang berbeda pada arsitektur decoder-only.
- Menggunakan model dasar Llama-3.1-8B, studi tersebut menghasilkan puisi di bawah prompt produksi dan menilai ulang di bawah prompt berorientasi persepsi.
- Jarak produksi-persepsi secara konsisten melebihi jarak produksi-produksi, dengan rasio rata-rata keseluruhan sekitar 1,8.
- Efek ini direplikasi di lima model bobot terbuka: Llama-3.1-8B, EuroLLM-9B, gemma-2-9b-it, Mistral-7B-Instruct-v0.3, dan Qwen2.5-7B-Instruct.
- Analisis temporal menunjukkan bahwa pengaruh prompt persepsi paling kuat di awal urutan, dengan divergensi yang meluruh seiring akumulasi konteks yang dihasilkan.
Temuan ini menunjukkan bahwa framing komunikatif secara signifikan memengaruhi cara LLM memproses informasi, membedakan antara menghasilkan teks dan mengevaluasinya.