该文章诊断了基于注意力的KV缓存驱逐方法（如H2O）如何在模式密集的输入（如嵌套JSON）中不成比例地保留噪声，在这些输入中，结构标记携带的能量显著多于内容标记。由于相对于VALUE标记过度保留了KEY标记，这种偏差导致在5%预算下精确匹配准确率从88%崩溃至0%。

  • 结构KEY标记的保留率约为携带答案的VALUE标记的1.8倍，充当降低信噪比的非平稳滤波器。
  • 抑制KEY标记被确定为针对此特定偏差最有效的可部署滤波器。
  • 一种无需重新训练、基于角色的条件分配方法在SnapKV的窗口评分之上运行，在低于20%的预算下弥补了H2O差距的63-98%。
  • 在更高的预算下，所提出的方法以微小的去噪效果 modestly 匹配或超过全缓存准确率。
  • 一个15 MB的线性角色探针以可忽略不计的推理成本提供这些标签，尽管匹配解析器级别的下游准确率仍然是一个开放挑战。