El artículo diagnostica cómo los métodos de evicción del caché KV basados en atención, como H2O, retienen desproporcionadamente ruido en entradas densas en esquemas, como JSON anidado, donde los tokens estructurales llevan significativamente más energía que los tokens de contenido. Este sesgo provoca que la precisión de coincidencia exacta colapse del 88% al 0% con un presupuesto del 5% debido a la retención excesiva de tokens KEY en relación con los tokens VALUE.

  • Los tokens KEY estructurales se retienen aproximadamente a una tasa 1,8 veces mayor que los tokens VALUE que llevan la respuesta, actuando como un filtro no estacionario que degrada la relación señal-ruido.
  • Se identifica que suprimir los tokens KEY es el filtro desplegable más efectivo para este sesgo específico.
  • Un método de asignación condicional por rol sin reentrenamiento sobre la puntuación acotada de SnapKV cierra del 63% al 98% de la brecha de H2O con presupuestos inferiores al 20%.
  • Con presupuestos más altos, el método propuesto iguala modestamente o supera la precisión del caché completo con un pequeño efecto de desvanecimiento de ruido.
  • Una sonda lineal de roles de 15 MB proporciona estas etiquetas con un costo de inferencia despreciable, aunque lograr la precisión a nivel de analizador para tareas posteriores sigue siendo un desafío abierto.