Les chercheurs démontrent que l'information pertinente à la tâche dans les prompts d'instruction peut être compressée en un seul vecteur d'activation en utilisant une somme pondérée apprise des activations d'une couche intermédiaire, qui est ensuite réinjectée dans une couche précoce du LLM cible.
- La méthode remplace la séquence de tokens originale par le vecteur compressé, entraînant une baisse de précision inférieure à 2 % par rapport au traitement complet du prompt.
- L'analyse révèle que les représentations des couches intermédiaires transfèrent significativement aux couches précoces, indiquant une compatibilité inter-couches dans l'encodage de l'information.
- Il est montré qu'un seul vecteur d'activation encode une quantité quantifiable et récupérable d'information sémantique.
- L'approche réduit le calcul par requête pour les prompts d'instruction fixes sans nécessiter le retraitement de la séquence de tokens originale.