"Steer on a Sphere: Geometric Control of Transformer Outputs" शीर्षक वाला एक प्रिप्रींट ट्रान्सफॉर्मर के छिपी हुई अवस्थाओं की ज्यामिति का विश्लेषण करता है, यह पाते हुए कि वे आयाम के आकार के बजाय प्रति-परत RMSNorm स्केल द्वारा परिभाषित गोलक पर स्थित हैं। इस त्रिज्या DeepSeek-7B और Mistral-7B जैसे विभिन्न आर्किटेक्चर में काफी भिन्न होती है।
मुख्य निष्कर्षों में स्पर्शरेखा पारगमन शामिल है, जहाँ LM-head दिशा के अनुदिश एक कदम शब्दावली रैंक 1 का 91–98% तक पहुँचता है, और "गाय को उल्टा करना", जहाँ विशिष्ट टोकन आत्म-बलवर्धक स्थिर बिंदुओं के रूप में कार्य करते हैं जो अनंत पुनरावृत्ति का कारण बनते हैं। इस कार्य ने NULL बाइट्स जैसे ट्रिगर का उपयोग करके रक्षात्मक एन्कोडिंग कमजोरियों की भी पहचान की है और कई आर्किटेक्चर के लिए 0.5 के पास लायपुनोव दर क्लस्टरिंग को नोट किया है।
लेखक इन ज्यामितीय गुणों को विशिष्ट ट्रान्सफॉर्मर व्यवहार, जैसे टोकन लॉकिंग और स्क्रैपर्स के लिए संभावित सुरक्षा प्रभावों को समझाने के लिए प्रस्तुत करते हैं, जबकि यह भी नोट करते हुए कि ज्यामितीय चित्रण सन्निकट है।