"Steer on a Sphere: Geometric Control of Transformer Outputs"라는 제목의 사전 인쇄물은 트랜스포머의 숨겨진 상태의 기하학을 분석하며, 이들이 차원 크기가 아닌 레이어별 RMSNorm 스케일로 정의된 구 위에 존재한다는 것을 발견했습니다. 이 반경은 DeepSeek-7B 및 Mistral-7B와 같은 아키텍처 간에 크게 다릅니다.

주요 발견 사항에는 LM-head 방향을 따라 한 단계 이동하여 어휘 순위 1의 91–98%에 도달하는 접선 이동, 그리고 특정 토큰이 무한 반복을 유발하는 자기 강화 고정점처럼 작용하는 "cow tipping"이 포함됩니다. 이 작업은 NULL 바이트와 같은 트리거를 사용한 방어적 인코딩 취약성도 식별하며, 여러 아키텍처에 대해 0.5 근처의 리아푸노프 속도 클러스터링을 주목합니다.

저자는 이러한 기하학적 속성을 제시하여 토큰 잠금 및 스크래퍼에 대한 잠재적 보안 영향과 같은 특정 트랜스포머 동작을 설명하지만, 이 기하학적 그림은 근사적이라고 언급합니다.