Исследователи предлагают UMoE, конвейер, который переупорядочивает пул экспертов моделей Mixture-of-Experts под целевую область перед контролируемой тонкой настройкой. Метод отбрасывает экспертов с низкой значимостью и восстанавливает пул через расширение на основе возмущений, сохраняя исходное количество параметров и затраты на вывод.
- Протестировано на архитектурах Qwen3-30B-A3B и Qwen3.5-35B-A3B в областях математики, кода, науки, использования инструментов и агентного программирования.
- Достигнуто улучшение на 3,4 балла в средней точности по математике и на 6,0 баллов в SWE-bench Verified по сравнению с прямой контролируемой тонкой настройкой.
- Повышен средний балл на сильном внутреннем корпусе математики до 84,17, превзойдя результат Qwen3-30B-A3B-Thinking's 81,06.
- Демонстрирует устойчивость при масштабировании обучающих данных и снижает потери обучения за счет преобразования избыточной емкости в полезную доменную емкость.
UMoE последовательно улучшает производительность по нескольким бенчмаркам без настройки гиперпараметров для каждой области, эффективно превращая неиспользованную емкость экспертов в целевую доменную экспертизу.