저자들은 번역 데이터를 배제하는 브라질 포르투갈어 텍스트 임베딩 평가를 위한 전용 벤치마크인 MTEB-PT를 소개합니다. 이 벤치마크는 7개 범주에 걸친 22개의 네이티브 작업으로 구성되며, 23M에서 27B 파라미터에 이르는 93개의 모델을 평가합니다.
- 평가에는 73개의 오픈 가중치 모델과 20개의 클로즈드 상용 API가 포함되며, 부트스트랩 신뢰 구간 및 판별 분석을 제공하는 통계 레이어가 있습니다.
- 벤치마크는 모델을 별도의 티어로 분리하여 리더보드 최상위 티어에 도달하는 오픈 라이선스 및 자체 호스팅 가능한 모델을 식별합니다.
- 글로벌 다국어 리더보드 순위와 포르투갈어 순위 간에는 중등 상관관계(Spearman rho = 0.75)가 있어, 네이티브 벤치마크가 서로 다른 능력을 측정하고 있음을 나타냅니다.
작업, 코드 및 공개 리더보드의 출시로 인해 실무자는 번역 코퍼스가 아닌 네이티브 증거를 기반으로 임베딩 모델을 선택할 수 있습니다.