大语言模型中用于激活稀疏化的敏感性感知阈值设定与令牌路由

研究人员提出了用于稀疏性的敏感性感知阈值设定（SATS）和轻量级令牌路由框架，以优化大语言模型的推理。SATS 用局部 MLP 输出敏感度的代理替代了基于百分位数的校准，以确定逐层门控阈值，而路由框架则按令牌动态选择计算路径。

• SATS 使用敏感性感知选择规则而非激活百分位数进行阈值校准。
• 令牌路由在基础路径和修改后的路径之间按令牌动态选择。
• 在多个开源权重的 LLM 上的评估表明，在匹配的实际稀疏度下，SATS 优于基于阈值的稀疏化基线。
• 与静态激活修改基线相比，令牌路由产生了更有利的质量-吞吐量权衡。

作者得出结论，改进的阈值校准和令牌路由可以提升 LLM 的质量-吞吐量权衡。