Os autores apresentam o MTEB-PT, um benchmark dedicado à avaliação de embeddings de texto em português brasileiro que exclui dados traduzidos. O benchmark compreende 22 tarefas nativas em sete categorias e avalia 93 modelos variando de 23M a 27B parâmetros.
- A avaliação inclui 73 modelos de peso aberto e 20 APIs comerciais fechadas, com uma camada estatística fornecendo intervalos de confiança bootstrap e análise de discriminação.
- O benchmark separa os modelos em níveis distintos, identificando um modelo licenciado abertamente e auto-hospedável que atinge o nível líder.
- Uma correlação moderada (rho de Spearman = 0.75) entre as classificações do leaderboard multilíngue global e as classificações em português indica que benchmarks nativos medem capacidades diferentes.
O lançamento das tarefas, código e um leaderboard público permite que profissionais selecionem modelos de embedding com base em evidências nativas em vez de corpora traduzidos.