研究者らは、MAESTROを提案した。これはスパースに活性化されるMixture-of-Experts (MoE) 言語モデルのための構造化プルーニングフレームワークであり、フルエキスパートバンクのメモリボトルネックに対処する。この手法は、自己回帰的エキスパート活性化軌道をエルゴードマルコフ連鎖としてモデル化し、層間依存関係を捉え、グローバルな重要度ヒューリスティックを提供する。

  • MAESTROは局所ヒューリスティックではなく遷移ベースのルーティングを使用してエキスパートの重要度を評価する。
  • 厳格な50%圧縮条件下で、最先端のベースラインと比較して最大10.61%高い平均パフォーマンス保持率を達成する。
  • このアプローチは、Safety、Bias、Ethicsを含む多様なタスクにわたってより一貫した汎化を示す、大幅に低いクロスタスク分散を実証している。