Des chercheurs ont identifié une vulnérabilité architecturale dans la manière dont les principaux fournisseurs de grands modèles de langage gèrent les traces de raisonnement étape par étape. Les fournisseurs renvoient ces traces sous forme de blocs chiffrés aux clients, mais l'étude révèle que ces blocs sont entièrement compatibles et interchangeables entre différentes sessions, utilisateurs et modèles au sein de l'écosystème d'un fournisseur.
- Les chercheurs ont développé un jailbreak de déchiffrement évolutif en injectant une trace de raisonnement chiffrée issue d'un modèle performant dans un modèle plus faible et moins protégé du même fournisseur pour forcer la sortie en texte clair.
- Cette méthode contourne les mécanismes anti-distillation, permettant l'extraction de traces de raisonnement propriétaires depuis Anthropic, OpenAI et Google.
- La vulnérabilité permet l'extraction à grande échelle de données privées ; le décodage de 315 320 blocs de raisonnement extraits de dépôts publics a révélé 367 artefacts PII et 182 identifiants.
- Le défaut révèle involontairement des informations dangereuses cachées au sein du processus de raisonnement, même lorsque la sortie finale du modèle rejette sûrement une requête.
- Les attaquants peuvent exploiter ce défaut pour exécuter des injections de prompt invisibles en intégrant des charges utiles malveillantes dans les blocs chiffrés afin d'empoisonner les déploiements publics agents.
Suite à une divulgation responsable, les auteurs proposent des atténuations cryptographiques et au niveau du système concrètes pour sécuriser le raisonnement côté client.