Décodage du calcul caché à travers les tokens de remplissage dans les LLM de pointe

La recherche révèle que des modèles de pointe comme DeepSeek V3 et Kimi K2 effectuent un raisonnement multi-étapes sur des tokens de remplissage sans contenu, sans chain-of-thought visible. Cela crée un cas limite de surveillance comportementale où les tokens de surface ne portent aucune information sur le raisonnement sous-jacent.

• L'attention route les questions à travers les régions de remplissage vers les réponses, avec des lectures logit-lens montrant une récupération de faits dans les couches précoces et une composition dans les couches tardives.
• Les greffes de KV-cache aux positions de remplissage échangent causalement les sorties entre les exemples.
• Un pipeline de décodage non supervisé récupère les valeurs intermédiaires avec une précision de 80 à 95 % sur quatre familles de tâches, sans étiquettes ground-truth ni entraînement.

Ces résultats suggèrent que la monitorabilité est une propriété de la trace computationnelle complète du modèle plutôt que seulement de ses tokens de surface.