KVEraser permite un borrado localizado eficiente del contexto en modelos de lenguaje grandes reemplazando únicamente los estados del caché KV de un segmento borrado con estados de dirección aprendidos. Logra un rendimiento cercano al de la recomputación completa en tareas dentro del dominio y ofrece un aumento de latencia del 24% frente a un aumento de 17.6x para la recomputación completa, con una aceleración de hasta 3--4x en tareas de QA de documentos largos.
KVEraser: Borrado localizado eficiente del contexto en LLMs
Traducido del English → Español