DeltaMerge-LowRes는 별도의 언어 및 작업 델타를 학습하고 가중치 공간에서 재결합하여 다국어 인코더를 새로운 언어 및 작업에 적응시킵니다. 이 방법은 레이블 없는 단일 언어 텍스트에서 언어 델타를, 레이블 있는 영어 데이터에서 작업 델타를 학습하며, 새로운 교차 축 TIES 접근법을 포함한 네 가지 규칙을 통해 조합합니다.

  • 교차 축 TIES는 작업 전용 기반 모델 대비 아프리카 언어 4개 중 3개에서 요약 chrF를 +4에서 +7 향상시킵니다.
  • 평가된 셀 전반에 걸쳐 QA F1은 +2.32, EM은 +2.91 증가합니다.
  • 희소성 인식 병합은 분류 ECE를 36% 줄이면서 매크로-F1 동등을 유지합니다.

조합 규칙은 병합된 모델이 무엇을 보존하고, 억제하며, 보정하는지를 실질적으로 변화시키며, 모든 JSON 추적 및 주장 원장이 공개되었습니다.