研究人员推出了 MAESTRO，这是一种用于稀疏激活混合专家（MoE）语言模型的结构性修剪框架，旨在解决完整专家库的内存瓶颈问题。该方法将自回归专家激活轨迹建模为遍历马尔可夫链，以捕捉跨层依赖关系，从而提供全局感知的启发式重要性评估。

  • MAESTRO 使用基于转移的路由而非局部启发式方法来评估专家的重要性。
  • 在严格的 50% 压缩率下，其平均性能保留率比最先进基线高出高达 10.61%。
  • 该方法显示出显著更低的跨任务方差，表明在包括安全性、偏见和伦理在内的异构任务中具有更一致的泛化能力。