Artikel ini mendiagnosis bagaimana metode eviksi cache KV berbasis perhatian seperti H2O secara tidak proporsional mempertahankan noise pada input padat skema, seperti JSON bersarang, di mana token struktural membawa energi yang jauh lebih besar daripada token konten. Bias ini menyebabkan akurasi exact-match runtuh dari 88% menjadi 0% pada anggaran 5% karena retensi berlebihan token KEY relatif terhadap token VALUE.

  • Token KEY struktural dipertahankan pada tingkat sekitar 1,8x dibandingkan token VALUE pembawa jawaban, bertindak sebagai filter non-stasioner yang menurunkan rasio sinyal-terhadap-noise.
  • Penekanan token KEY diidentifikasi sebagai filter yang dapat diterapkan paling efektif untuk bias spesifik ini.
  • Metode alokasi kondisional peran tanpa pelatihan ulang di atas skor jendela SnapKV menutup 63-98% kesenjangan H2O pada anggaran di bawah 20%.
  • Pada anggaran yang lebih tinggi, metode yang diusulkan secara moderat mencocokkan atau melebihi akurasi cache penuh dengan efek denoising kecil.
  • Probe peran linier 15 MB menyediakan label-label ini dengan biaya inferensi yang dapat diabaikan, meskipun pencocokan akurasi downstream tingkat parser tetap menjadi tantangan terbuka.