Une étude révèle que les grands modèles de langage maintiennent une estimation interne de la longueur de réponse restante, qui peut être décodée à partir d'états cachés figés. Les chercheurs ont entraîné des sondes linéaires de capacité minimale sur trois modèles ouverts de 7 à 8 milliards de paramètres sur sept ensembles de données de style complétion pour étudier ce phénomène.
- La longueur totale de la réponse est linéairement décodable à partir du dernier état caché de l'invite avant toute génération de sortie.
- Les directions des sondes se transfèrent largement aux complétions synthétiques contrôlées, surpassant les bases statistiques.
- Sur les complétions à haute perte, l'estimation de la sonde augmente lorsque le modèle retire et redémarre une solution.
Ces résultats suggèrent que les LLM maintiennent une représentation interne de type plan pour la longueur de sortie, distincte des résultats d'impossibilité de comptage exact pour les transformateurs.