تقييم دراسة لنموذج AMALIA البرتغالي، وهو نموذج بـ 9 مليارات معلمة ممول من القطاع العام للبرتغالية الأوروبية، ووجد أنه لا يمكنه قياس البناء النظري لـ "السلطة" بشكل موثوق رغم تحقيقه توافقاً عالياً مع المرمزين البشر. توضح البحث أن AMALIA يتفق مع المعلقين البشريين المدربين ضمن 6 نقاط من F1، لكنه يعتمد على الارتباطات السطحية مثل الغضب الأخلاقي بدلاً من النظرية الأساسية.
- تستخدم الدراسة مقياس "فجوة الاسترداد" لاختبار الصلاحية عن طريق تحليل المطالبات الشاملة إلى جمل ذرية وإعادة دمجها عبر قواعد صريحة.
- استعادة التحليل تعيد فقط حوالي نصف الأداء الشامل لـ AMALIA، مما يشير إلى أن النموذج يفشل في اتباع الإطار النظري للبناء.
- أغلق نموذج لغوي كبير متعدد اللغات مفتوح المصدر هذه الفجوة بنجاح على نفس مجموعة البيانات البرتغالية، مما يوحي بأن الفشل يكمن في AMALIA وليس في المجموعة.
- يجادل المؤلفون بأن معايير تقييم نماذج LLM السيادية يجب أن تختبر مسار دليل التوافق، وليس فقط درجة التوافق نفسها.
تشير النتائج إلى أنه رغم قدرة AMALIA على الفرز والترميز الأولي على نطاق واسع، إلا أنه لا يزال غير قادر على قياس هذا البناء بشكل كافٍ ليعمل كأداة صالحة بمفرده.