एक अध्ययन यूरोपीय पुर्तगाली के लिए सार्वजनिक रूप से वित्त पोषित 9B-पैरामीटर मॉडल, पुर्तगाल की AMALIA का मूल्यांकन करता है, और पाता है कि यह "अधिकार" के सैद्धांतिक संरचना को विश्वसनीय रूप से मापने में असमर्थ है, भले ही यह मानवीय कोडर्स के साथ उच्च सहमति हासिल कर ले। शोध प्रदर्शित करता है कि जबकि AMALIA प्रशिक्षित मानवीय एनोटेटर्स के साथ छह F1 अंक के भीतर सहमत है, यह अंतर्निहित सिद्धांत के बजाय नैक क्रोध जैसे सतही सहसंबंधों पर निर्भर करता है।
- अध्ययन वैधता का परीक्षण करने के लिए होलिस्टिक प्रॉम्प्ट्स को एटॉमिक क्लॉज में विघटित करके और स्पष्ट नियमों के माध्यम से उन्हें पुनः संयोजित करके "रिकवरी गैप" मेट्रिक का उपयोग करता है।
- विघटन AMALIA के होलिस्टिक प्रदर्शन का केवल आधा हिस्सा ही पुनर्स्थापित करता है, जो इंगित करता है कि मॉडल संरचना के सैद्धांतिक ढांचे का पालन करने में विफल रहता है।
- एक खुला बहुभाषी LLM उसी पुर्तगाली कॉर्पस पर इस गैप को सफलतापूर्वक बंद कर देता है, जो सुझाव देता है कि विफलता कॉर्पस के बजाय AMALIA में निहित है।
- लेखकों का तर्क है कि सॉवरेन-LLM बेंचमार्क्स को केवल सहमति स्कोर नहीं, बल्कि सहमति के साक्ष्य मार्ग का परीक्षण करना चाहिए।
निष्कर्ष सुझाव देते हैं कि हालांकि AMALIA पैमाने पर स्क्रीनिंग और प्री-कोडिंग कर सकता है, यह अभी तक इस संरचना को इतनी अच्छी तरह से मापने में सक्षम नहीं है कि यह एक वैध उपकरण के रूप में अकेले खड़ा हो सके।