본 기사는 H2O와 같은 어텐션 기반 KV 캐시 제거 방법이 스키마가 밀집된 입력(예: 중첩 JSON)에서 구조적 토큰이 콘텐츠 토큰보다 훨씬 큰 에너지를 가질 때 노스를 불균형하게 유지하는 방식을 진단합니다. 이 편향으로 인해 VALUE 토큰에 비해 KEY 토큰이 과도하게 유지되어 5% 예산에서 정확 일치 정확도가 88%에서 0%로 붕괴됩니다.

  • 구조적 KEY 토큰은 답변을 담는 VALUE 토큰의 약 1.8배 비율로 유지되며, 신호 대 잡음비를 저하시키는 비정상 필터 역할을 합니다.
  • 이 특정 편향에 대해 KEY 토큰을 억제하는 것이 가장 효과적인 배포 가능한 필터로 식별되었습니다.
  • SnapKV의 윈도우 기반 점수 위에 구축된 재학습 없는 역할 조건부 할당 방법은 20% 미만의 예산에서 H2O 격차의 63-98%를 해소합니다.
  • 더 높은 예산에서는 제안된 방법이 작은 노이즈 제거 효과와 함께 전체 캐시 정확도와 동등하거나 초과하는 성능을 보입니다.
  • 15 MB 선형 역할 프로브는 무시할 수 있는 추론 비용으로 이러한 라벨을 제공하지만, 파서 수준의 다운스트림 정확도와 일치시키는 것은 여전히 해결 과제로 남아 있습니다.