PIVOT (Proxy Indexing Via One full-prefix Traversal) — это решение без дообучения, заменяющее индексатор DeepSeek Sparse Attention (DSA), которое снижает вычислительную избыточность за счёт общего сканирования одного префикса для группы близких запросов. Вместо оценки каждого предыдущего токена для каждого запроса отдельно PIVOT объединяет группу в один прокси-запрос для получения набора кандидатов, из которых для каждого запроса выбираются топ-k токенов.

  • Предлагается два варианта: PIVOT-Reuse разделяет топ-k прокси для максимальной скорости, а PIVOT-Refine повторно оценивает кандидатов с помощью индивидуальных индексаторов для соответствия точности плотного индексатора.
  • Алгоритм обрабатывает как фазу префилла, так и фазу декодирования, формируя группы последовательных запросов или шагов многозадачного предсказания соответственно.

На моделях DeepSeek-V3.2 и GLM-5.1 в задачах LongBench и RULER PIVOT достигает точности плотного индексатора DSA, ускоряя его до 4 раз и снижая сквозную задержку до 1.6 раза при длинном контексте.