Peneliti mengusulkan UMoE, sebuah pipeline yang menata ulang kumpulan ahli model Mixture-of-Experts ke domain target sebelum penyetelan halus terawasi. Metode ini memangkas ahli dengan saliens rendah dan menumbuhkan kembali kumpulan melalui ekspansi berbasis gangguan sambil mempertahankan jumlah parameter asli dan biaya inferensi.

  • Diuji pada arsitektur Qwen3-30B-A3B dan Qwen3.5-35B-A3B di domain matematika, kode, sains, penggunaan alat, dan pemrograman agentic.
  • Mencapai peningkatan 3,4 poin dalam akurasi matematika rata-rata dan 6,0 poin pada SWE-bench Verified dibandingkan dengan penyetelan halus terawasi langsung.
  • Meningkatkan skor rata-rata pada korpus matematika internal yang kuat menjadi 84,17, mengungguli 81,06 dari Qwen3-30B-A3B-Thinking.
  • Menunjukkan ketangguhan saat data pelatihan berskala dan menurunkan kerugian pelatihan dengan mengubah kapasitas redundan menjadi kapasitas domain yang berguna.

UMoE secara konsisten meningkatkan kinerja di berbagai benchmark tanpa penyetelan hiperparameter per-domain, secara efektif mengubah kapasitas ahli yang tidak terpakai menjadi keahlian domain yang ditargetkan.