Un nouveau préprint analyse la dynamique des états cachés dans huit petits modèles Transformer ouverts instrumentés localement afin de déterminer si les représentations internes suivent une progression structurée lors de l'inférence. L'étude distingue entre les changements qui se produisent à travers la profondeur du modèle et ceux qui évoluent au fil du temps de génération autoregressive.

  • L'ordre local à travers la profondeur du modèle était significativement plus structuré que des permutations aléatoires (p = 0,00019996) et s'est maintenu dans tous les contrôles d'exclusion d'un modèle sur un.
  • Les profils de profondeur inter-modèles ont montré une forte cohérence avec une corrélation moyenne d'environ r = 0,789.
  • Les événements étiquetés fonctionnellement étaient statistiquement associés à la profondeur normalisée des couches (p = 0,0024).
  • Un motif temporel commun précédemment observé n'a pas pu être reproduit dans le panel élargi, survivant à 0/8 contrôles d'exclusion d'un modèle sur un.
  • Les modèles ayant des résultats fonctionnels similaires ou appartenant à la même famille d'architecture n'ont montré aucune similarité structurelle significative.

Les résultats suggèrent que l'inférence Transformer contient une structure reproductible le long de la profondeur tout en restant hautement conditionnelle dans le temps et le comportement, remettant en question l'idée d'une dynamique temporelle universelle.