Los autores presentan MTEB-PT, un benchmark dedicado a evaluar embebidos de texto en portugués brasileño que excluye datos traducidos. El benchmark comprende 22 tareas nativas en siete categorías y evalúa 93 modelos que van desde 23M hasta 27B parámetros.
- La evaluación incluye 73 modelos de peso abierto y 20 APIs comerciales cerradas, con una capa estadística que proporciona intervalos de confianza de bootstrap y análisis de discriminación.
- El benchmark separa los modelos en niveles distintos, identificando un modelo con licencia abierta y autoalojable que alcanza el nivel líder.
- Una correlación moderada (rho de Spearman = 0.75) entre los rangos del tablero multilingüe global y los rangos en portugués indica que los benchmarks nativos miden capacidades diferentes.
La publicación de tareas, código y un tablero público permite a los profesionales seleccionar modelos de embebido basándose en evidencia nativa en lugar de corpora traducidos.