Les auteurs présentent MTEB-PT, un benchmark dédié à l'évaluation des embeddings de texte en portugais brésilien qui exclut les données traduites. Le benchmark comprend 22 tâches natives réparties en sept catégories et évalue 93 modèles allant de 23M à 27B paramètres.

  • L'évaluation inclut 73 modèles open-weight et 20 API commerciales fermées, avec une couche statistique fournissant des intervalles de confiance par bootstrap et une analyse de discrimination.
  • Le benchmark sépare les modèles en niveaux distincts, identifiant un modèle sous licence ouverte et auto-hébergeable atteignant le niveau supérieur.
  • Une corrélation modérée (rho de Spearman = 0,75) entre les classements du leaderboard multilingue mondial et ceux du portugais indique que les benchmarks natifs mesurent des capacités différentes.

La publication des tâches, du code et d'un leaderboard public permet aux praticiens de sélectionner des modèles d'embedding sur la base de preuves natives plutôt que de corpus traduits.