El desarrollador del framework de IA local OpenFox ha implementado una función llamada "calentamiento especulativo de caché" que procesa el prompt del sistema y el array de herramientas mientras el usuario escribe su entrada. Esta optimización permite al modelo comenzar a procesar datos de contexto estático antes de enviar el prompt real, reduciendo efectivamente la latencia experimentada al iniciar una nueva sesión.
- El prompt del sistema (que contiene AGENTS.md y preferencias) y el array de herramientas se procesan en segundo plano durante la escritura.
- Cuando el usuario envía el prompt, solo queda que el LLM procese el texto restante del prompt.
- A una velocidad de procesamiento de 500 tokens por segundo, este método ahorra aproximadamente entre 10 y 20 segundos de tiempo de espera.
Este cambio hace que la interacción con LLMs locales sea más receptiva y reduce el tiempo inactivo típicamente asociado con la inicialización de una nueva sesión.