Une étude démontre que les modèles de langage de pointe peuvent effectuer des calculs conséquents en utilisant des jetons de remplissage sémantiquement non pertinents, créant un mode de défaillance où le raisonnement n'est pas visible dans la chaîne de pensée de sortie. La recherche a évalué 13 modèles sur trois tâches et a constaté que beaucoup bénéficient significativement de ces jetons, avec des améliorations de précision allant jusqu'à 13 points de pourcentage.

  • Les jetons de remplissage permettent à Claude Opus 4.5 de satisfaire des contraintes d'arithmétique modulaire cachées sans sacrifier la précision de la tâche principale.
  • L'apprentissage par renforcement donne à Qwen3-235B de fortes préférences pour le contenu spécifique des jetons de remplissage, mais ni l'apprentissage par renforcement ni l'ajustement fin supervisé ne produisent des avantages qui persistent au moment du test.
  • Le bénéfice de performance dépend des jetons utilisés et varie selon les différents modèles.

Ces résultats indiquent que les modèles de pointe effectuent déjà des calculs sans trace interprétable dans leurs jetons de sortie, démontrant que le raisonnement invisible peut servir des objectifs entièrement invisibles à la surveillance par chaîne de pensée.