Para penulis memperkenalkan MTEB-PT, sebuah benchmark khusus untuk mengevaluasi embedding teks dalam bahasa Portugis Brasil yang mengecualikan data terjemahan. Benchmark ini terdiri dari 22 tugas asli di tujuh kategori dan mengevaluasi 93 model dengan parameter berkisar dari 23M hingga 27B.
- Evaluasi mencakup 73 model open-weight dan 20 API komersial tertutup, dengan lapisan statistik yang menyediakan interval kepercayaan bootstrap dan analisis diskriminasi.
- Benchmark memisahkan model ke dalam tier yang berbeda, mengidentifikasi model berlisensi terbuka dan dapat di-host sendiri yang mencapai tier terdepan.
- Korelasi moderat (Spearman rho = 0,75) antara peringkat leaderboard multibahasa global dan peringkat Portugis menunjukkan bahwa benchmark asli mengukur kemampuan yang berbeda.
Rilis tugas, kode, dan leaderboard publik memungkinkan praktisi memilih model embedding berdasarkan bukti asli daripada korpus terjemahan.