KVEraser permite un borrado localizado eficiente del contexto en modelos de lenguaje grandes al reemplazar únicamente los estados del caché KV de un segmento borrado con estados de dirección aprendidos. Logra un rendimiento cercano al de la recomputación completa en tareas dentro del dominio para longitudes de contexto de 1K a 32K, con solo un aumento de latencia del 24%, y supera a otros métodos aproximados en QA de documentos largos con una aceleración de 3--4x sobre la recomputación completa.
KVEraser: Borrado localizado eficiente del contexto en LLM
Traducido del English → Español