लेखकों ने MTEB-PT का परिचय दिया, जो ब्राज़ीलियन पोर्तुगीज़ में टेक्स्ट एम्बेडिंग का मूल्यांकन करने के लिए समर्पित एक बेंचमार्क है जो अनुवादित डेटा को बाहर रखता है। इस बेंचमार्क में सात श्रेणियों में 22 स्थानीय कार्य शामिल हैं और यह 23M से 27B पैरामीटर तक के 93 मॉडल का मूल्यांकन करता है।
- इसमें 73 ओपन-वेटेड मॉडल और 20 बंद वाणिज्यिक API शामिल हैं, जिसमें एक सांख्यिकीय परत बाटस्ट्रैप आत्मविश्वास अंतराल और भेदभाव विश्लेषण प्रदान करती है।
- बेंचमार्क मॉडल को अलग-अलग स्तरों में विभाजित करता है, एक ऐसे मॉडल की पहचान करता है जिसका लाइसेंस खुला है और जिसे स्वयं होस्ट किया जा सकता है और जो शीर्ष स्तर तक पहुँचता है।
- वैश्विक बहुभाषी लीडरबोर्ड रैंक और पोर्तुगीज़ रैंक के बीच एक मध्यम सहसंबंध (स्पियरमान रो = 0.75) संकेत देता है कि स्थानीय बेंचमार्क अलग-अलग क्षमताओं को मापते हैं।
कार्यों, कोड और एक सार्वजनिक लीडरबोर्ड का प्रकाशन अभ्यासकर्ताओं को अनुवादित कॉर्परा के बजाय स्थानीय साक्ष्य के आधार पर एम्बेडिंग मॉडल चुनने की अनुमति देता है।