研究者らは、大規模言語モデルの推論を最適化するために、スパース化用の感度対応閾値処理（SATS）と軽量なトークンルーティングフレームワークを提案する。SATSはパーセンタイルベースの較正に代わって、層ごとのゲート閾値を決定するために局所的なMLP出力の感度プロキシを使用し、ルーティングフレームワークはトークンごとに計算パスを動的に選択する。

  • SATSは、閾値較正のために活性化パーセンタイルの代わりに感度対応の選択ルールを使用する。
  • トークンルーティングは、ベースパスと修正パスの間をトークン単位で動的に選択する。
  • 複数のオープンウェイトLLMでの評価により、SATSは一致した実際のスパース性において閾値ベースのスパース化ベースラインを上回ることを示した。
  • トークンルーティングは、静的な活性化修正ベースラインよりも有利な品質とスループットのトレードオフをもたらす。

著者らは、改善された閾値較正とトークンルーティングがLLMにおける品質とスループットのトレードオフを強化できると結論づけている。