AMALIA-9B gagal mengukur otoritas moral secara valid meskipun memiliki kesepakatan tinggi dengan manusia

Sebuah studi mengevaluasi AMALIA dari Portugal, sebuah model Portugis Eropa berparameter 9B, dan menemukan bahwa model tersebut tidak dapat mengukur dasar moral otoritas secara valid meskipun memiliki kesepakatan tinggi dengan koder manusia. Meskipun AMALIA mencocokkan skor kesepakatan mentah dengan model terbuka yang ukurannya delapan hingga十三 kali lebih besar, model tersebut gagal memulihkan kinerja ketika prompt diuraikan menjadi klausa atomik, yang menunjukkan ketergantungan pada korelasi permukaan seperti kemarahan moral daripada konstruk teoretis.

• AMALIA setuju dengan koder manusia terlatih dalam batas 6 poin F1 dari model terbuka yang lebih besar.
• Dekomposisi hanya memulihkan sekitar setengah dari kinerja holistik AMALIA, menunjukkan kegagalan untuk mengikuti teori konstruk tersebut.
• Sebuah LLM multibahasa open source menutupi kesenjangan ini pada korpus Portugis yang sama, mengarahkan penjelasan menjauh dari korpus sebagai penyebab utama.

Studi tersebut berargumen bahwa baterai benchmark LLM berdaulat harus menguji tidak hanya kesepakatan dengan koder manusia tetapi juga jalur bukti di mana kesepakatan tersebut dipertanggungjawabkan.