O PIVOT (Proxy Indexing Via One full-prefix Traversal) é uma substituição plug-and-play sem treinamento para o indexador DeepSeek Sparse Attention (DSA) que reduz a redundância computacional ao compartilhar uma única varredura de prefixo entre um grupo de consultas próximas. Em vez de pontuar cada token precedente para cada consulta individualmente, o PIVOT agrega o grupo em uma única consulta proxy para obter um conjunto de candidatos, do qual os top-k tokens são selecionados para cada consulta.

  • Duas variantes são oferecidas: PIVOT-Reuse compartilha os top-k da proxy para máxima velocidade, enquanto PIVOT-Refine reavalia os candidatos com indexadores individuais para corresponder à fidelidade do indexador denso.
  • O algoritmo lida com ambas as fases de prefill e decode formando grupos de consultas consecutivas ou etapas de previsão multi-token, respectivamente.

No DeepSeek-V3.2 e GLM-5.1 no LongBench e RULER, o PIVOT iguala a precisão do indexador DSA denso enquanto o acelera em até 4x e reduz a latência end-to-end em até 1.6x em contextos longos.