本記事は、H2Oのような注意機構ベースのKVキャッシュ_eviction手法が、構造的トークンが内容的なトークンよりも著しく大きなエネルギーを持つネストされたJSONなどのスキーマ密集入力において、ノイズを不均衡に保持する仕組みを診断している。このバイアスにより、KEYトークンがVALUEトークンに対して過剰に保持されることで、5%の予算において完全一致精度が88%から0%に崩壊する。

  • 構造的KEYトークンは、回答を担うVALUEトークンの約1.8倍の率で保持され、信号対雑音比を低下させる非定常フィルタとして機能する。
  • この特定のバイアスに対して、KEYトークンを抑制することが最も効果的な実装可能なフィルタとして特定された。
  • SnapKVのウィンドウ付きスコアに基づく再学習不要の役割条件付き割り当て手法は、20%未満の予算でH2Oとのギャップの63-98%を埋める。
  • より高い予算では、提案手法は小さなノイズ除去効果を持ちながら、フルキャッシュ精度と同等またはそれ以上となる。
  • 15 MBの線形役割プローブがこれらのラベルを無視できる推論コストで提供しているが、パーサーレベルのダウンストリーム精度との一致は依然として未解決の課題である。