L'article diagnostique comment les méthodes d'éviction du cache KV basées sur l'attention, comme H2O, retiennent de manière disproportionnée le bruit sur les entrails denses en schéma, telles que le JSON imbriqué, où les jetons structurels portent significativement plus d'énergie que les jetons de contenu. Ce biais provoque un effondrement de la précision d'exact-match de 88 % à 0 % avec un budget de 5 %, dû à la rétention excessive des jetons KEY par rapport aux jetons VALUE.

  • Les jetons KEY structurels sont retenus à environ 1,8 fois le taux des jetons VALUE porteurs de réponse, agissant comme un filtre non stationnaire qui dégrade le rapport signal-sur-bruit.
  • La suppression des jetons KEY est identifiée comme le filtre déployable le plus efficace pour ce biais spécifique.
  • Une méthode d'allocation conditionnelle au rôle sans réentraînement sur le score fenêtré de SnapKV comble 63 à 98 % de l'écart H2O avec des budgets inférieurs à 20 %.
  • À des budgets plus élevés, la méthode proposée égale ou dépasse modestement la précision du cache complet avec un petit effet de débruitage.
  • Un sondeur de rôle linéaire de 15 Mo fournit ces étiquettes à un coût d'inférence négligeable, bien que la correspondance de la précision en aval au niveau du parseur reste un défi ouvert.