Sebuah studi mengevaluasi AMALIA dari Portugal, sebuah model berparameter 9B yang didanai publik untuk bahasa Portugis Eropa, dan menemukan bahwa model tersebut tidak dapat mengukur konstruk teoretis "otoritas" secara andal meskipun mencapai kesepakatan tinggi dengan koder manusia. Penelitian ini menunjukkan bahwa meskipun AMALIA setuju dengan anotator manusia terlatih dalam batas 6 poin F1, model tersebut bergantung pada korelasi permukaan seperti kemarahan moral daripada teori yang mendasarinya.

  • Studi ini menggunakan metrik "recovery gap" untuk menguji validitas dengan mendekomposisi prompt holistik menjadi klausa atomik dan menggabungkannya kembali melalui aturan eksplisit.
  • Dekomposisi hanya memulihkan sekitar setengah dari kinerja holistik AMALIA, menunjukkan bahwa model gagal mengikuti kerangka teoretis konstruk tersebut.
  • Sebuah LLM multibahasa open source berhasil menutup celah ini pada korpus Portugis yang sama, menyiratkan bahwa kegagalan terletak pada AMALIA, bukan pada korpus.
  • Para penulis berargumen bahwa benchmark LLM berdaulat harus menguji jalur bukti kesepakatan, bukan hanya skor kesepakatannya itu sendiri.

Temuan ini menunjukkan bahwa meskipun AMALIA dapat melakukan penyaringan dan pra-pengkodean secara skala besar, model tersebut belum dapat mengukur konstruk ini dengan cukup baik untuk berdiri sendiri sebagai instrumen yang valid.