Исследователи представляют MAESTRO, структурированный фреймворк для разреженного прунинга моделей смешанных экспертов (MoE) с редкой активацией, который решает проблему узкого места памяти полных банков экспертов. Метод моделирует авторегрессионные траектории активации экспертов как эргодические цепи Маркова для захвата межслойных зависимостей, обеспечивая глобально осведомленную эвристику важности.
- MAESTRO оценивает важность экспертов с помощью маршрутизации на основе переходов, а не локальных эвристик.
- Он достигает до 10.61% более высокой средней удержанной производительности по сравнению с передовыми базовыми моделями в строгом режиме сжатия 50%.
- Подход демонстрирует существенно меньшую межзадачную дисперсию, что указывает на более последовательную обобщающую способность для разнородных задач, включая Безопасность, Предвзятость и Этику.