著者らは、翻訳データを除外するブラジルポルトガル語のテキスト埋め込みを評価するための専用ベンチマークであるMTEB-PTを紹介する。このベンチマークは7つのカテゴリにわたる22のネイティブタスクで構成され、23Mから27Bパラメータの93モデルを評価する。

  • 評価には73のオープンウェイトモデルと20のクローズドな商用APIが含まれており、ブートストラップ信頼区間と判別分析を提供する統計層がある。
  • ベンチマークはモデルを明確なティアに分離し、最上位ティアに到達するオープンライセンスで自己ホスト可能なモデルを特定する。
  • グローバルな多言語リーダーボードの順位とポルトガル語の順位の間には中程度相関（Spearman rho = 0.75）があり、ネイティブベンチマークが異なる能力を測定していることを示している。

タスク、コード、およびパブリックリーダーボードの公開により、実践者は翻訳コーパスではなくネイティブな証拠に基づいて埋め込みモデルを選択できる。