Les chercheurs ont identifié un « sous-circuit de décompte » dans Llama-3.1-70B-Instruct qui permet aux modèles de langage de suivre les tokens restants dans diverses tâches, telles que l'écriture de phrases de longueur fixe ou le formatage de tableaux.
L'étude isole ce mécanisme dans un cadre contrôlé et constate qu'il utilise un motif identique précédemment découvert dans d'autres LLM de pointe, suggérant que cette structure est partagée entre les modèles. Le sondage non supervisé sur des ensembles de données de langage naturel révèle que le sous-circuit gère des tâches où les longueurs cibles sont inférées à partir du contexte plutôt qu'explicitement indiquées.
Ce travail démontre que l'ingénierie inverse des sous-circuits aide à expliquer comment des comportements spécifiques se généralisent à partir d'exemples uniques vers des tâches diverses et différents modèles.