تُظهر المقالة أن الكائنات المفهرسة بالإحداثيات في سير عمل نماذج اللغات الكبيرة تتطلب تثبيت مقياس تدفق الباقي للنموذج، وهو يعتمد على البنية. بينما تمتلك نماذج LayerNorm مقياس تباديل ($S_d$)، فإن نماذج RMSNorm تمتلك مقياس تباديل موقّع ($B_d$)، مما يجعل محاذاة التباديل وحدها غير مكتملة تناظرياً.

  • يقدم المؤلفون مطابقة هنغارية هامشية للإشارة لمعالجة سقف الدقة الهيكلية في المطابقة بالارتباط الموقّع الخام.
  • يؤدي تركيب مقاييس $B_d$ المحلية من نقاط التفتيش المحفوظة إلى استعادة 91.1% من إحداثيات التشغيل المتقاطع عند 1500 خطوة، مقارنة بـ 60.3% للمطابقة عند النقاط الطرفية.
  • تحت المقياس $B_d$، تحقق إعادة بناء SAE لـ TinyLlama خطأ متوسط مربع طبيعي (NMSE) قدره 0.004 مقابل 1.08 تحت $S_d$، وتحافظ توجيهات المشاعر في Qwen على 95.8% من تأثيرها مقابل 17.2%.
  • يحفظ النقل الموقّع لحالة AdamW مسار التدريب المستأنف، بينما تتبع الحالة المعتمدة على التباديل وحدها مساراً مختلفاً.

يجادل المؤلفون بأن النقل الحافظ للإحداثيات ضروري لأدوات مثل SAEs ومتجهات التوجيه التي تنكسر تحت المحاذاة بالتباديل وحدها، وأن ادعاءات القابلية للتفسير قابلة لإعادة الإنتاج فقط بالنسبة لمقياس صريح.