Une démonstration montre que le gel des états clé-valeur (KV) d'un texte guide permet à un modèle Qwen2.5-3B-Instruct d'appliquer de nouvelles instructions sans inclure le guide dans le prompt actif. La méthode consiste à faire passer une fois le texte guide à travers le modèle, à geler son cache KV, puis à générer des réponses par-dessus ce préfixe caché.
- Dans un test de mathématiques avec un opérateur fictif, le modèle guidé par KV a correctement calculé les résultats pour des nombres non vus, égalant la performance de l'injection de texte visible.
- Dans une tâche d'extraction nécessitant des listes détaillées, la méthode KV a produit des sorties correctes dès le premier jeton sur plusieurs graines, tandis que l'injection visible a nécessité une dérive significative et que les tentatives sans guide ont échoué complètement.
- L'approche est décrite comme un préfixe précompilé caché plutôt que comme un mécanisme computationnel, offrant des avantages de vitesse par rapport au remplissage visible du prompt.
Cette technique permet le transfert de concepts et le suivi d'instructions dans les grands modèles de langage en exploitant des états KV figés au lieu d'un contexte textuel explicite.