RaBitQCache es un nuevo marco de atención dispersa diseñado para abordar los cuellos de botella de memoria y computacionales del caché Key-Value (KV) en la inferencia de Modelos de Lenguaje Grande (LLM) con contexto largo. Utiliza cuantización binaria rotada aleatoria y aritmética binario-INT4 de alto rendimiento para estimar eficientemente los pesos de atención.
- El método emplea una puntuación proxy no sesgada con un límite de error demostrado para permitir la recuperación adaptativa Top-p, ajustando dinámicamente el presupuesto de tokens según la dispersión real de la atención.
- Una implementación del sistema consciente del hardware incorpora canalización asíncrona y actualizaciones diferidas para enmascarar la sobrecarga computacional.
- Las evaluaciones demuestran que RaBitQCache acelera significativamente la inferencia y reduce la E/S de memoria mientras preserva la calidad de generación en comparación con las líneas base más avanzadas.
El enfoque ofrece una alternativa más eficiente a la recuperación estática con presupuesto fijo o puntuaciones proxy computacionalmente costosas, mejorando el rendimiento sin sacrificar la calidad de salida.