Los investigadores proponen UMoE, una tubería que reorganiza el conjunto de expertos de los modelos Mixture-of-Experts hacia un dominio objetivo antes del ajuste fino supervisado. El método poda a los expertos de baja saliencia y regenera el conjunto mediante expansión basada en perturbaciones mientras preserva los conteos originales de parámetros y los costos de inferencia.

  • Probado en las arquitecturas Qwen3-30B-A3B y Qwen3.5-35B-A3B a través de dominios de matemáticas, código, ciencia, uso de herramientas y programación agéntica.
  • Logró una mejora de 3,4 puntos en la precisión promedio de matemáticas y 6,0 puntos en SWE-bench Verified en comparación con el ajuste fino supervisado directo.
  • Elevó la puntuación promedio en un corpus de matemáticas interno fuerte a 84,17, superando los 81,06 de Qwen3-30B-A3B-Thinking's.
  • Demuestra robustez a medida que escalan los datos de entrenamiento y reduce la pérdida de entrenamiento al convertir la capacidad redundante en capacidad de dominio útil.

UMoE mejora consistentemente el rendimiento en múltiples benchmarks sin ajuste fino de hiperparámetros por dominio, convirtiendo efectivamente la capacidad de experto no utilizada en experiencia de dominio específica.