Авторы представляют MTEB-PT, специализированный бенчмарк для оценки текстовых эмбеддингов на бразильском португальском языке, который исключает переведенные данные. Бенчмарк включает 22 нативные задачи в семи категориях и оценивает 93 модели с количеством параметров от 23M до 27B.

  • Оценка включает 73 модели с открытым весом и 20 закрытых коммерческих API, со статистическим слоем, обеспечивающим доверительные интервалы бутстрэпа и анализ дискриминации.
  • Бенчмарк разделяет модели на различные уровни, выявляя модель с открытой лицензией, которую можно разместить самостоятельно и которая достигает ведущего уровня.
  • Умеренная корреляция (Спирман ро = 0.75) между глобальными многоязычными рейтингами и португальскими рейтингами указывает на то, что нативные бенчмарки измеряют разные способности.

Выпуск задач, кода и публичного рейтинга позволяет специалистам выбирать модели эмбеддингов на основе нативных данных, а не переведенных корпусов.