В статье анализируется, как методы вытеснения KV-кэша на основе внимания, такие как H2O, непропорционально сохраняют шум на входных данных с плотной структурой, таких как вложенный JSON, где структурные токены несут значительно больше энергии, чем контентные токены. Это смещение приводит к падению точности при полном совпадении с 88% до 0% при бюджете в 5% из-за избыточного сохранения KEY-токенов по сравнению с VALUE-токенами.

  • Структурные KEY-токены сохраняются примерно в 1,8 раза чаще, чем VALUE-токены, несущие ответ, действуя как нестационарный фильтр, который ухудшает отношение сигнал/шум.
  • Подавление KEY-токенов определено как наиболее эффективный развертываемый фильтр для данного конкретного смещения.
  • Метод распределения с учетом роли, не требующий переобучения, над оконной оценкой SnapKV закрывает 63–98% разрыва H2O при бюджетах менее 20%.
  • При более высоких бюджетах предложенный метод умеренно соответствует или превосходит точность полного кэша с небольшим эффектом шумоподавления.
  • Линейный зонд ролей размером 15 МБ предоставляет эти метки с пренебрежимо малыми затратами на вывод, хотя достижение точности уровня парсера для последующих задач остается открытой проблемой.