Un préprint intitulé "Steer on a Sphere: Geometric Control of Transformer Outputs" analyse la géométrie des états cachés du Transformer, constatant qu'ils résident sur une sphère définie par l'échelle RMSNorm par couche plutôt que par la taille de la dimension. Ce rayon varie considérablement entre les architectures, telles que DeepSeek-7B et Mistral-7B.
Les résultats clés incluent la traversée tangentielle, où une étape le long d'une direction LM-head atteint 91–98 % du rang 1 du vocabulaire, et le « cow tipping », où des tokens spécifiques agissent comme des points fixes auto-renforçants causant une répétition infinie. Le travail identifie également des vulnérabilités de codage défensif en utilisant des déclencheurs tels que les octets NULL et note un regroupement du taux de Lyapunov proche de 0,5 pour plusieurs architectures.
L'auteur présente ces propriétés géométriques pour expliquer des comportements spécifiques du Transformer, tels que le verrouillage des tokens et les implications potentielles en matière de sécurité pour les scrapers, tout en notant que l'image géométrique est approximative.