O artigo diagnostica como métodos de evicção de cache KV baseados em atenção, como H2O, retêm desproporcionalmente ruído em entradas densas em esquema, como JSON aninhado, onde tokens estruturais carregam significativamente mais energia do que tokens de conteúdo. Esse viés faz com que a precisão de correspondência exata caia de 88% para 0% com um orçamento de 5% devido à retenção excessiva de tokens KEY em relação aos tokens VALUE.
- Tokens KEY estruturais são retidos aproximadamente 1,8 vezes mais do que os tokens VALUE que carregam a resposta, atuando como um filtro não estacionário que degrada a relação sinal-ruído.
- Suprimir tokens KEY é identificado como o filtro implantável mais eficaz para esse viés específico.
- Um método de alocação condicional por papel sem retratamento sobre a pontuação em janela do SnapKV fecha 63-98% da lacuna do H2O com orçamentos abaixo de 20%.
- Com orçamentos mais altos, o método proposto modestamente iguala ou excede a precisão do cache completo com um pequeno efeito de desruído.
- Uma sonda linear de papéis de 15 MB fornece esses rótulos com custo de inferência desprezível, embora alcançar a precisão downstream em nível de analisador permaneça um desafio aberto.