Une enquête causale sur le steerings des logits par vocabulaire sur le modèle Qwen2-1.5B révèle que les plus grandes coordonnées du vecteur de steerings ne sont pas nécessairement responsables des effets comportementaux observés. L'étude, menée par ntrillard, analyse comment le steerings des logits classés par ordre d'importance influence la génération de tokens et identifie les composants structurels spécifiques qui pilotent ces changements.

  • Le transport (génération de mots cibles) apparaît autour de K≈150 et persiste jusqu'à K≈300, avec K=200 comme point d'alignement maximal mais pas un optimum comportemental unique.
  • La projection pure par ligne(W) (λ=1) montre un transport nul sur 30 graines, tandis que chaque condition λ<1 conserve une composante hors-ligne non nulle et présente un certain transport.
  • L'effet est identifié comme une contrainte lexicale plutôt qu'un transport sémantique ; l'augmentation des 200 voisins lexicaux les plus probables donne 27/30 transports, tandis que les voisins sémantiques non augmentés donnent 0/30.
  • La suppression de la coordonnée la plus importante n'élimine pas l'effet, indiquant qu'il n'existe aucune coordonnée porteuse unique dans le vecteur de steerings.
  • Le recalcul dynamique du vecteur par préfixe ou contexte propre modifie à peine le vecteur et n'améliore pas les performances par rapport aux vecteurs statiques.

Les résultats suggèrent que l'interaction entre l'identité de la coordonnée et son importance classée est critique pour le succès du steerings, remettant en question les hypothèses sur les composants du vecteur qui pilotent le comportement du modèle.