RaBitQCache é um novo framework de atenção esparsa projetado para abordar os gargalos de memória e computacionais do cache Key-Value (KV) na inferência de Modelos de Linguagem Grande (LLM) com contexto longo. Ele utiliza quantização binária rotacionada aleatória e aritmética binário-INT4 de alta vazão para estimar eficientemente os pesos de atenção.
- O método emprega uma pontuação proxy não enviesada com um limite de erro provado para permitir recuperação adaptativa Top-p, ajustando dinamicamente o orçamento de tokens com base na esparsidade real da atenção.
- Uma implementação de sistema consciente do hardware incorpora pipeline assíncrono e atualizações preguiçosas para mascarar a sobrecarga computacional.
- As avaliações demonstram que o RaBitQCache acelera significativamente a inferência e reduz a E/S de memória enquanto preserva a qualidade da geração em comparação com as linhas de base mais recentes.
A abordagem oferece uma alternativa mais eficiente à recuperação estática com orçamento fixo ou pontuações proxy computacionalmente caras, melhorando o desempenho sem sacrificar a qualidade da saída.