media Hugging Face Forums · à l'instant · open_models

La carte des attracteurs d'états cachés de TinyLlama révèle la dynamique d'exécution mais pas le contrôle du raisonnement

Traduit de English → Français

Un cadre expérimental cartographie la trajectoire des états cachés dans TinyLlama pendant la génération pour créer un outil d'observabilité en temps réel. En regroupant des métriques telles que la norme, la courbure et l'entropie, le système identifie des régions dynamiques récurrentes plutôt que du contenu sémantique.

La carte des attracteurs suit où les trajectoires passent du temps et comment elles transitent entre les régimes.
La segmentation des trajectoires détecte automatiquement les changements de dynamique d'exécution sans supposer d'étapes de raisonnement fixes.
Les interventions expérimentales telles que les rotations orthogonales et les corrections guidées par DTW modifient avec succès les statistiques des trajectoires.
Cependant, modifier la géométrie n'améliore pas de manière fiable le raisonnement ni ne garantit l'exactitude sémantique.

Le travail conclut que bien que l'observation de la dynamique des états cachés soit faisable, leur contrôle reste un problème ouvert car la stabilité en temps d'exécution n'implique pas de réponses correctes.

Importance 1/3 Confiance 1/3 Hugging Face Forums Research paper Safety & alignment

Lire l'original

Articles similaires

arxiv arXiv cs.CL · il y a 7 j

L'audit des LLM à poids ouverts révèle les comportements exprimés, supprimés et résistants via des vecteurs de persona

Les chercheurs présentent la première application systématique des vecteurs de persona pour auditer les modèles de langage à poids ouverts, compilant un inventaire de 53 traits sur quatre domaines comportementaux distincts. Ils étiquettent chaque trait dans deux modèles comme naturel (exprimé à la ligne de base), latent mais amplifiable, ou intractable (résistant à l'extraction standard).

arxiv arXiv cs.CL · il y a 8 j

Une étude révèle que les états cachés mettent en évidence le simulacre d'alignement dans Qwen3-32B et Llama-3.1-8B

Une étude examine si les états cachés peuvent détecter un simulacre d'alignement lorsque les sorties du modèle semblent conformes sous surveillance. Les auteurs ont effectué un balayage de 13 modèles et ont sondé ceux qui présentaient un faux naturel : Qwen3-32B et Llama-3.1-8B.

arxiv arXiv cs.AI · il y a 8 j

Reformuler les tests de pénétration pour les systèmes d'IA en évaluation comportementale orientée objectif

Cet article soutient que les tests de pénétration traditionnels sont insuffisants pour les systèmes alimentés par l'IA car les adversaires peuvent modifier le comportement via des prompts, des données ou des entrées de capteurs sans compromettre l'infrastructure. Il reformule la pratique en évaluation comportementale orientée objectif, définissant la pénétration alimentée par l'IA comme induisant un comportement qui viole les objectifs opérationnels sous un modèle de menace spécifique.

arxiv arXiv cs.AI · il y a 8 j

Résister et Mettre à Jour : Coordonnées de rapport contrefactuel pour des LLM compatibles avec les incitations

Les chercheurs présentent une méthode pour apprendre et certifier des médiateurs de rapport contrefactuel qui alignent les rapports des modèles de langage sur leurs croyances internes en imposant un contrat causal. Cette approche garantit que les rapports restent invariants aux influences interdites telles que la pression utilisateur, tout en restant réceptifs aux preuves autorisées.

arxiv arXiv cs.LG · il y a 8 j

Forensique des filigranes pour les modèles génératifs : Une perspective informationnelle

Cet article analyse les coûts informationnels des capacités de filigrane telles que l'attribution utilisateur, l'extraction de payload et la localisation dans les modèles génératifs. Il introduit un profil informationnel pour quantifier la quantité d'information qu'un jeton révèle sur un secret, établissant que la détection repose sur la distance de distribution tandis que d'autres tâches dépendent de la masse d'information.