作者介绍了 MTEB-PT，这是一个专门用于评估巴西葡萄牙语文本嵌入的基准，排除了翻译数据。该基准包含七个类别中的 22 个原生任务，并评估了从 23M 到 27B 参数的 93 个模型。

  • 评估包括 73 个开放权重模型和 20 个封闭商业 API，并带有提供自助置信区间和判别分析的统计层。
  • 该基准将模型分为不同的层级，识别出一个拥有开放许可、可自托管且达到领先层级的模型。
  • 全球多语言排行榜排名与葡萄牙语排名之间的中等相关性（Spearman rho = 0.75）表明，原生基准衡量的是不同的能力。

任务、代码和公共排行榜的发布使从业者能够基于原生证据而非翻译语料库来选择嵌入模型。