Le développeur du harnais d'IA local OpenFox a implémenté une fonctionnalité appelée "réchauffement de cache spéculatif" qui traite le prompt système et le tableau d'outils pendant que l'utilisateur tape son entrée. Cette optimisation permet au modèle de commencer à traiter les données de contexte statique avant la soumission du prompt réel, réduisant ainsi efficacement la latence ressentie lors du démarrage d'une nouvelle session.
- Le prompt système (contenant AGENTS.md et les préférences) et le tableau d'outils sont traités en arrière-plan pendant la frappe.
- Lorsque l'utilisateur envoie le prompt, seul le texte de prompt restant doit être traité par le LLM.
- À une vitesse de traitement de 500 tokens par seconde, cette méthode économise environ 10 à 20 secondes de temps d'attente.
Ce changement rend l'interaction avec les LLM locaux plus réactive et réduit le temps inactif généralement associé à l'initialisation d'une nouvelle session.