연구자들은 지도 학습 파인튜닝 전에 Mixture-of-Experts 모델의 전문가 풀을 대상 도메인으로 재배치하는 파이프라인인 UMoE를 제안했습니다. 이 방법은 낮은 중요도를 가진 전문가를 가지치기하고 섭동 기반 확장을 통해 풀을 재생성하면서 원래 파라미터 수와 추론 비용을 유지합니다.

  • 수학, 코드, 과학, 도구 사용, 에이전트 코딩 도메인에서 Qwen3-30B-A3B 및 Qwen3.5-35B-A3B 아키텍처에 대해 테스트되었습니다.
  • 직접적인 지도 학습 파인튜닝 대비 평균 수학 정확도에서 3.4포인트 향상, SWE-bench Verified에서 6.0포인트 향상을 달성했습니다.
  • 강력한 내부 수학 코퍼스에서 평균 점수를 84.17로 높여 Qwen3-30B-A3B-Thinking의 81.06을 능가했습니다.
  • 훈련 데이터가 확장됨에 따라 견고성을 보여주며, 중복 용량을 유용한 도메인 용량으로 변환하여 훈련 손실을 줄입니다.

UMoE는 도메인별 하이퍼파라미터 튜닝 없이 여러 벤치마크 전반에 걸쳐 일관되게 성능을 향상시켜, 사용되지 않은 전문가 용량을 표적 도메인 전문 지식으로 효과적으로 전환합니다.