一篇题为“Steer on a Sphere: Geometric Control of Transformer Outputs”的预印本分析了Transformer隐藏状态的几何结构，发现它们位于由每层RMSNorm尺度定义的球面上，而非由维度大小决定。该半径在不同架构（如DeepSeek-7B和Mistral-7B）之间差异显著。

主要发现包括切线遍历，即沿LM-head方向的一步即可达到词汇表排名1的91–98%，以及“推牛”现象，其中特定token充当自强化不动点，导致无限重复。该研究还识别了使用NULL字节等触发器的防御性编码漏洞，并指出几种架构的李雅普诺夫速率聚类在0.5附近。

作者提出这些几何特性以解释Transformer的特定行为（如token锁定）及其对爬虫程序的潜在安全影响，同时指出该几何图景是近似的。