PIVOT(Proxy Indexing Via One full-prefix Traversal)은 DeepSeek Sparse Attention(DSA) 인덱서를 위한 학습 불필요한 드롭인 대체재로, 근처 쿼리 그룹 간에 하나의 접두사 스캔을 공유하여 계산 중복성을 줄입니다. PIVOT은 각 쿼리에 대해 개별적으로 모든 선행 토큰을 점수 매기는 대신, 그룹을 단일 프록시 쿼리로 집계하여 후보 집합을 얻고, 여기서 각 쿼리별로 상위 k개 토큰을 선택합니다.

  • 두 가지 변형이 제공됩니다: PIVOT-Reuse는 최대 속도를 위해 프록시 상위-k를 공유하고, PIVOT-Refine은 개별 인덱서로 후보를 재점수하여 밀집 인덱서의 충실도와 일치시킵니다.
  • 이 알고리즘은 연속된 쿼리 그룹과 다중 토큰 예측 단계를 각각 형성하여 prefill 및 decode 단계 모두를 처리합니다.

LongBench와 RULER에서 DeepSeek-V3.2 및 GLM-5.1에 대해 PIVOT은 밀집 DSA 인덱서의 정확도와 일치하면서도 최대 4배 가속화하고, 긴 컨텍스트에서 최대 1.6배의 엔드투엔드 지연 시간을 줄입니다.