PIVOT(Proxy Indexing Via One full-prefix Traversal)是一种无需训练、可即插即用的DeepSeek稀疏注意力(DSA)索引器替代方案,它通过在邻近查询组间共享单次前缀扫描来减少计算冗余。PIVOT不再为每个查询单独对每个前置令牌进行评分,而是将查询组聚合为一个代理查询以获取候选集,随后从中为每个查询选出top-k个令牌。
- 提供两种变体:PIVOT-Reuse共享代理的top-k以实现最大速度,而PIVOT-Refine则使用各自的索引器对候选项重新评分,以匹配密集索引器的精度。
- 该算法通过分别形成连续查询组或多令牌预测步骤来处理预填充和解码阶段。
在LongBench和RULER基准上针对DeepSeek-V3.2和GLM-5.1的测试表明,PIVOT在保持与密集DSA索引器相当精度的同时,将速度提升了最高4倍,并将长上下文下的端到端延迟降低了最高1.6倍。