Pesquisadores propõem o UMoE, um pipeline que realinha o pool de especialistas de modelos Mixture-of-Experts para um domínio alvo antes do ajuste fino supervisionado. O método poda especialistas de baixa saliência e regenera o pool por expansão baseada em perturbação enquanto preserva as contagens originais de parâmetros e os custos de inferência.

  • Testado nas arquiteturas Qwen3-30B-A3B e Qwen3.5-35B-A3B através dos domínios de matemática, código, ciência, uso de ferramentas e programação agêntica.
  • Alcançou uma melhoria de 3,4 pontos na precisão média de matemática e 6,0 pontos no SWE-bench Verified em comparação com o ajuste fino supervisionado direto.
  • Elevou a pontuação média em um corpus interno forte de matemática para 84,17, superando os 81,06 do Qwen3-30B-A3B-Thinking's.
  • Demonstra robustez à medida que os dados de treinamento escalam e reduz o loss de treinamento convertendo capacidade redundante em capacidade de domínio útil.

O UMoE melhora consistentemente o desempenho em múltiplos benchmarks sem ajuste fino de hiperparâmetros por domínio, efetivamente transformando a capacidade de especialista não utilizada em especialidade de domínio direcionada.