एक अध्ययन में पोर्चुगल के AMALIA, 9B पैरामीटर वाले यूरोपीय पोर्तुगीज़ मॉडल का मूल्यांकन किया गया, जिसमें पाया गया कि यह उच्च मानवीय सहमति के बावजूद अधिकार के नैतिक आधार को वैध रूप से मापने में असमर्थ है। हालांकि AMALIA कच्ची सहमति स्कोर में अपने आकार से आठ से तेरह गुना बड़े खुले मॉडल्स के बराबर है, लेकिन जब प्रॉम्प्ट्स को परमाणु क्लॉज़ में विघटित किया जाता है तो यह प्रदर्शन पुनर्प्राप्त करने में विफल रहता है, जो सैद्धांतिक संरचनाओं के बजाय नैतिक आक्रोश जैसे सतही सहसंबंधों पर निर्भरता की ओर इशारा करता है।
- AMALIA प्रशिक्षित मानवीय कोडर्स के साथ बड़े खुले मॉडल्स से छह F1 अंक के भीतर सहमत है।
- विघटन केवल AMALIA के समग्र प्रदर्शन का लगभग आधा हिस्सा पुनर्प्राप्त करता है, जो संरचना की सिद्धांत का पालन करने में विफलता को दर्शाता है।
- एक खुला बहुभाषी LLM उसी पोर्तुगीज़ कॉर्पस पर इस अंतर को बंद करता है, जो मुख्य व्याख्या के रूप में कॉर्पस को दूर संकेत करता है।
अध्ययन तर्क देता है कि सार्वभौमिक LLM बेंचमार्क बैटरीज़ को न केवल मानवीय कोडर्स के साथ सहमति का परीक्षण करना चाहिए, बल्कि उस प्रमाण मार्ग का भी परीक्षण करना चाहिए जिसके द्वारा वह सहमति सुनिश्चित होती है।