RaBitQCacheは、長文脈大規模言語モデルの推論におけるKey-Value (KV) キャッシュのメモリおよび計算上のボトルネックを解決するために設計された革新的なスパースアテンションフレームワークです。ランダム化された回転二値量子化と高スループットのバイナリ-INT4演算を利用し、アテンション重みを効率的に推定します。

  • 本手法は、適応的なTop-p取得を可能にする誤差限界が証明された無偏プロキシスコアを採用し、実際のスパースアテンションに基づいてトークン予算を動的に調整します。
  • ハードウェア対応のシステム実装では、非同期パイプラインと遅延更新を組み込み、計算オーバーヘッドを隠蔽しています。
  • 評価により、RaBitQCacheが最先端のベースラインと比較して推論を大幅に加速し、生成品質を維持しながらメモリI/Oを削減することが示されました。

このアプローチは、静的な固定予算取得や計算コストの高いプロキシスコアよりも効率的な代替手段を提供し、出力品質を犠牲にすることなくパフォーマンスを向上させます。