Una demostración muestra que congelar los estados de clave-valor (KV) de un texto guía permite a un modelo Qwen2.5-3B-Instruct aplicar nuevas instrucciones sin incluir la guía en el prompt activo. El método implica ejecutar una vez el texto guía a través del modelo, congelar su caché KV y luego generar respuestas sobre ese prefijo oculto.

  • En una prueba de matemáticas con un operador ficticio, el modelo guiado por KV calculó correctamente los resultados para números no vistos, igualando el rendimiento de la inyección de texto visible.
  • En una tarea de extracción que requiere listas detalladas, el método KV produjo salidas correctas desde el primer token en múltiples semillas, mientras que la inyección visible requirió una deriva significativa y los intentos sin guía fallaron por completo.
  • El enfoque se describe como un prefijo precompilado oculto en lugar de un mecanismo computacional, ofreciendo ventajas de velocidad sobre el relleno visible del prompt.

Esta técnica permite la transferencia de conceptos y el seguimiento de instrucciones en modelos de lenguaje grandes aprovechando los estados KV congelados en lugar del contexto textual explícito.