Les chercheurs proposent UMoE, un pipeline qui réaligne le pool d'experts des modèles Mixture-of-Experts vers un domaine cible avant l'affinage supervisé. La méthode élaguer les experts à faible saillance et régénère le pool via une expansion basée sur la perturbation tout en préservant les comptes de paramètres originaux et les coûts d'inférence.

  • Testé sur les architectures Qwen3-30B-A3B et Qwen3.5-35B-A3B dans les domaines des mathématiques, du code, des sciences, de l'utilisation d'outils et du codage agentique.
  • A obtenu une amélioration de 3,4 points en précision moyenne en mathématiques et de 6,0 points sur SWE-bench Verified par rapport à l'affinage supervisé direct.
  • A augmenté le score moyen sur un corpus mathématique interne puissant à 84,17, surpassant les 81,06 de Qwen3-30B-A3B-Thinking.
  • Démontre une robustesse lorsque les données d'entraînement évoluent et réduit la perte d'entraînement en convertissant la capacité redondante en capacité de domaine utile.

UMoE améliore constamment les performances sur plusieurs benchmarks sans ajustement d'hyperparamètres par domaine, transformant efficacement la capacité d'expert inutilisée en expertise de domaine ciblée.