PIVOT (Proxy Indexing Via One full-prefix Traversal) est un remplacement plug-in sans entraînement pour l'indexeur DeepSeek Sparse Attention (DSA) qui réduit la redondance computationnelle en partageant un seul scan de préfixe entre un groupe de requêtes proches. Au lieu de scorer chaque token précédent pour chaque requête individuellement, PIVOT agrège le groupe en une seule requête proxy pour obtenir un ensemble de candidats, à partir duquel les top-k tokens sont sélectionnés pour chaque requête.
- Deux variantes sont proposées : PIVOT-Reuse partage le top-k proxy pour une vitesse maximale, tandis que PIVOT-Refine rescore les candidats avec des indexeurs individuels pour correspondre à la fidélité de l'indexeur dense.
- L'algorithme gère les phases de préfill et de decode en formant des groupes de requêtes consécutives ou d'étapes de prédiction multi-tokens respectivement.
Sur DeepSeek-V3.2 et GLM-5.1 à travers LongBench et RULER, PIVOT égale la précision de l'indexeur DSA dense tout en l'accélérant jusqu'à 4x et en réduisant la latence de bout en bout jusqu'à 1.6x sur les contextes longs.