تقيّم دراسة نموذج AMALIA البرتغالي الأوروبي ذي الـ 9 مليارات معلمة، وتجد أنه لا يمكنه قياس الأساس الأخلاقي للسلطة بشكل صحيح رغم الاتفاق العالي مع المرمزين البشر. بينما يتطابق AMALIA مع النماذج المفتوحة التي تزيد أحجامها عن حجمه بثمانية إلى ثلاثة عشر مرة في درجات الاتفاق الخام، فإنه يفشل في استعادة الأداء عند تفكيك المطالبات إلى جمل ذرية، مما يشير إلى الاعتماد على الارتباطات السطحية مثل الغضب الأخلاقي بدلاً من التراكيب النظرية.
- يتفق AMALIA مع المرمزين البشر المدربين ضمن 6 نقاط F1 مقارنة بالنماذج المفتوحة الأكبر حجماً.
- يستعيد التفكيك فقط حوالي نصف الأداء الكلي لـ AMALIA، مما يشير إلى فشل في اتباع نظرية التركيب.
- يغلق نموذج لغوي كبير متعدد اللغات مفتوح المصدر هذه الفجوة على نفس مجموعة البيانات البرتغالية، مما يبعد التفسير عن المجموعة نفسها كسبب رئيسي.
تجادل الدراسة بأنه ينبغي لاختبارات معايير نماذج اللغة الكبيرة السيادية أن تختبر ليس فقط الاتفاق مع المرمزين البشر ولكن أيضاً المسار الدليلي الذي يُستند إليه هذا الاتفاق.