MAESTRO memangkas ahli MoE melalui perutean rantai Markov untuk meningkatkan retensi

Peneliti memperkenalkan MAESTRO, sebuah kerangka kerja pemangkasan terstruktur untuk model bahasa Mixture-of-Experts (MoE) yang diaktifkan secara jarang yang mengatasi hambatan memori bank ahli penuh. Metode ini memodelkan trajektori aktivasi ahli autoregresif sebagai rantai Markov ergodik untuk menangkap ketergantungan lintas-lapis, memberikan heuristik kepentingan yang sadar global.

• MAESTRO mengevaluasi kepentingan ahli menggunakan perutean berbasis transisi alih-alih heuristik lokal.
• Metode ini mencapai retensi kinerja rata-rata hingga 10.61% lebih tinggi dibandingkan baseline mutakhir di bawah rezim kompresi ketat 50%.
• Pendekatan ini menunjukkan varians lintas-tugas yang secara substansial lebih rendah, mengindikasikan generalisasi yang lebih konsisten di berbagai tugas heterogen termasuk Safety, Bias, dan Ethics.