Les chercheurs démontrent que l'information pertinente à la tâche dans les prompts d'instruction peut être compressée en un seul vecteur d'activation et réinjectée dans des grands modèles de langage, remplaçant ainsi la séquence de jetons originale. Cela est réalisé à l'aide d'une somme pondérée apprise d'activations extraites à une couche intermédiaire et injectées à une couche précoce.
- Le vecteur compressé préserve l'information pertinente à la tâche avec une baisse de précision inférieure à 2 % par rapport au traitement complet du prompt.
- Les représentations de couche intermédiaire transfèrent significativement aux couches précoces, suggérant une compatibilité inter-couches dans la manière dont l'information est encodée.
- Un seul vecteur d'activation encode une quantité quantifiable et récupérable d'information sémantique.
- Une somme pondérée d'activations sert de compresseur de représentation robuste.
Cette approche réduit le calcul par requête pour les prompts d'instruction fixes sans nécessiter le retraitement de la séquence de jetons originale.