PIVOT（Proxy Indexing Via One full-prefix Traversal）は、DeepSeek Sparse Attention（DSA）インデクサのためのトレーニング不要なドロップイン置換であり、近くのクエリグループ間で1つのプレフィックススキャンを共有することで計算の冗長性を削減します。各クエリに対して個別にすべての先行トークンをスコアリングする代わりに、PIVOTはグループを単一のプロキシクエリに集約して候補セットを取得し、そこから各クエリのためにトップkトークンが選択されます。

  • 2つのバリエーションが提供されています：PIVOT-Reuseは最大速度のためにプロキシのトップkを共有し、PIVOT-Refineは個々のインデクサで候補を再スコアリングして密集インデクサの忠実度と一致させます。
  • このアルゴリズムは、連続するクエリまたはマルチトークン予測ステップのグループを形成することで、プレフィルフェーズとデコードフェーズの両方を処理します。

LongBenchおよびRULER上のDeepSeek-V3.2およびGLM-5.1において、PIVOTは密集DSAインデクサの精度に匹敵しつつ、最大4倍の加速を実現し、長文脈においてエンドツーエンドのレイテンシを最大1.6倍削減します。