研究人员提出了UMoE，这是一种在监督微调之前将混合专家模型的专家池重新对齐到目标领域的流水线。该方法剪枝低显著性专家，并通过基于扰动的扩展重新生长专家池，同时保持原始参数数量和推理成本不变。

  • 在Qwen3-30B-A3B和Qwen3.5-35B-A3B架构上进行了测试，涵盖数学、代码、科学、工具使用和智能体编码领域。
  • 与直接监督微调相比，平均数学准确率提高了3.4分，SWE-bench Verified提高了6.0分。
  • 在强大的内部数学语料库上的平均分提高到84.17，优于Qwen3-30B-A3B-Thinking的81.06。
  • 随着训练数据的扩展展现出鲁棒性，并通过将冗余容量转换为有用的领域容量来降低训练损失。

UMoE在多个基准测试中一致地提高了性能，无需针对每个领域的超参数调整，有效地将未使用的专家容量转化为针对性的领域专业知识。