Un preprint titulado "Steer on a Sphere: Geometric Control of Transformer Outputs" analiza la geometría de los estados ocultos del Transformer, encontrando que residen en una esfera definida por la escala RMSNorm por capa en lugar del tamaño de la dimensión. Este radio varía significativamente entre arquitecturas, como DeepSeek-7B y Mistral-7B.
Los hallazgos clave incluyen el recorrido tangencial, donde un paso a lo largo de una dirección LM-head alcanza el 91–98% del rango 1 del vocabulario, y la "voltereta de vaca", donde tokens específicos actúan como puntos fijos auto-reforzantes que causan repetición infinita. El trabajo también identifica vulnerabilidades en el codificado defensivo usando disparadores como bytes NULL y nota la agrupación de tasa de Lyapunov cerca de 0.5 para varias arquitecturas.
El autor presenta estas propiedades geométricas para explicar comportamientos específicos del Transformer, como el bloqueo de tokens y posibles implicaciones de seguridad para los scrapers, mientras señala que la imagen geométrica es aproximada.