研究者らは、教師ありファインチューニングの前にMixture-of-Expertsモデルのエキスパートプールを対象ドメインに再配置するパイプラインであるUMoEを提案した。この手法は、低顕著性のエキスパートを剪定し、摂動ベースの拡張によりプールを再生長させながら、元のパラメータ数と推論コストを維持する。

  • 数学、コード、科学、ツール使用、エージェント型コーディングの各ドメインにおいて、Qwen3-30B-A3BおよびQwen3.5-35B-A3Bアーキテクチャでテストされた。
  • 直接の教師ありファインチューニングと比較して、平均数学精度で3.4ポイントの向上、SWE-bench Verifiedで6.0ポイントの向上を達成した。
  • 強力な社内数学コーパスでの平均スコアを84.17に引き上げ、Qwen3-30B-A3B-Thinkingの81.06を上回った。
  • トレーニングデータがスケールするにつれて堅牢性を示し、冗長な容量を実用的なドメイン容量に変換することでトレーニング損失を低減する。

UMoEは、ドメイン固有のハイパーパラメータチューニングなしで複数のベンチマークにわたって一貫してパフォーマンスを向上させ、未使用のエキスパート容量を対象としたドメイン専門知識に変換することに成功している。