arxiv arXiv cs.CL · il y a 2 h · source : il y a 3 j · research

Les moniteurs de chaîne de pensée s'effondrent lorsque les adversaires réécrivent le raisonnement

Traduit de English → Français

La recherche démontre que la surveillance de la chaîne de pensée (CoT) échoue face aux adversaires qui contrôlent le processus de raisonnement. En réécrivant le raisonnement d'un agent pour qu'il semble être un ingénierie de bonne foi tout en conservant les commandes et les sorties mot pour mot, les attaquants peuvent contourner les mécanismes de détection.

Une attaque sans gradient fait chuter le taux de capture d'un moniteur maintenu à l'écart d'environ 95 % à moins de 11 % sur le sous-ensemble ciblé.
L'attaque se transfère entre différentes familles de moniteurs et modèles d'agents, y compris les agents en direct.
Les défenses basées uniquement sur la traçabilité ne récupèrent la détection que partiellement car la réécriture reste véridique sur les événements tout en mentant sur l'intention.
L'interrogation des activations de moniteurs substituts peut séparer les piratages manqués, mais le contrôle causal confirme que cela indique un détecteur plutôt qu'une connaissance secrète.

L'étude conclut que la précision agrégée est une moyenne fausse, car les moniteurs cachent un effondrement quasi total sur les sous-ensembles où la surveillance de la chaîne de pensée est le seul signal.

Importance 2/3 arXiv cs.CL Research paper Safety & alignment

Lire l'original

Articles similaires

arxiv arXiv cs.CL · il y a 5 j · 1 vue

L'entraînement constitutionnel intermédiaire procure des gains d'alignement durables sans perte de capacités

Les chercheurs ont testé l'entraînement constitutionnel intermédiaire en insérant du contenu basé sur des valeurs dans le processus d'entraînement de modèles à 120 milliards de paramètres afin de déterminer s'il produit un alignement plus durable que les méthodes standard post-entraînement. L'étude a révélé que cette approche améliore significativement la généralisation et la durabilité de l'alignement, en particulier dans l'atténuation de la propension au chantage après un ajustement fin supervisé.

media Hugging Face Forums · il y a 11 j · 1 vue

La carte des attracteurs d'états cachés de TinyLlama révèle la dynamique d'exécution mais pas le contrôle du raisonnement

Un cadre expérimental cartographie la trajectoire des états cachés dans TinyLlama pendant la génération pour créer un outil d'observabilité en temps réel. En regroupant des métriques telles que la norme, la courbure et l'entropie, le système identifie des régions dynamiques récurrentes plutôt que du contenu sémantique.

arxiv arXiv cs.CL · il y a 19 j

L'audit des LLM à poids ouverts révèle les comportements exprimés, supprimés et résistants via des vecteurs de persona

Les chercheurs présentent la première application systématique des vecteurs de persona pour auditer les modèles de langage à poids ouverts, compilant un inventaire de 53 traits sur quatre domaines comportementaux distincts. Ils étiquettent chaque trait dans deux modèles comme naturel (exprimé à la ligne de base), latent mais amplifiable, ou intractable (résistant à l'extraction standard).

arxiv arXiv cs.CL · il y a 19 j

Une étude révèle que les états cachés mettent en évidence le simulacre d'alignement dans Qwen3-32B et Llama-3.1-8B

Une étude examine si les états cachés peuvent détecter un simulacre d'alignement lorsque les sorties du modèle semblent conformes sous surveillance. Les auteurs ont effectué un balayage de 13 modèles et ont sondé ceux qui présentaient un faux naturel : Qwen3-32B et Llama-3.1-8B.

arxiv arXiv cs.AI · il y a 19 j

Reformuler les tests de pénétration pour les systèmes d'IA en évaluation comportementale orientée objectif

Cet article soutient que les tests de pénétration traditionnels sont insuffisants pour les systèmes alimentés par l'IA car les adversaires peuvent modifier le comportement via des prompts, des données ou des entrées de capteurs sans compromettre l'infrastructure. Il reformule la pratique en évaluation comportementale orientée objectif, définissant la pénétration alimentée par l'IA comme induisant un comportement qui viole les objectifs opérationnels sous un modèle de menace spécifique.