LLM tidak memiliki sikap yang kuat pada dataset HardChoices

Sebuah studi baru mengevaluasi apakah model bahasa besar memegang posisi yang konsisten pada isu-isu masyarakat yang substantif menggunakan dataset extsc{HardChoices} yang baru, yang menangkap ketidaksepakatan dalam kubu ideologis.

• Penelitian ini melampaui dimensi kiri-kanan tingkat tinggi atau progresif-konservatif untuk memeriksa konflik kebijakan spesifik.
• Baik LLM besar maupun kecil jarang menyatakan netralitas ketika dihadapkan dengan pertanyaan-pertanyaan ini.
• Model sering menunjukkan inkohorensi tetapi menunjukkan tingkat kesepakatan yang luar biasa pada isu-isu di mana mereka mengambil sikap.

Temuan tersebut menunjukkan bahwa meskipun LLM dapat diarahkan pasca-pelatihan, mereka tidak memiliki sikap yang kuat dan independen pada masalah masyarakat yang kompleks.