تكشف دراسة سببية لتوجيه اللوغاريتمات على مستوى المفردات في نموذج Qwen2-1.5B أن أكبر الإحداثيات في متجه التوجيه ليست بالضرورة مسؤولة عن التأثيرات السلوكية الملاحظة. يقوم الباحث ntrillard بتحليل كيفية تأثير توجيه اللوغاريتمات المرتبة والمتفرقة على توليد الرموز، وتحديد المكونات الهيكلية المحددة التي تقود هذه التغييرات.
- يظهر النقل (توليد الكلمات المستهدفة) عند K≈150 ويستمر حتى K≈300، حيث يمثل K=200 نقطة المحاذاة القصوى لكنه ليس أمثلية سلوكية فريدة.
- يُظهر إسقاط الصف الخالص (W) (λ=1) صفراً للنقل عبر 30 بذرة، بينما تحتفظ كل حالة λ<1 بمكون خارج الصف غير الصفري وتُظهر بعض النقل.
- تم تحديد التأثير على أنه فرض معجمي بدلاً من نقل دلالي؛ حيث يؤدي تعزيز الجيران المعجميين في أعلى 200 إلى تحقيق 27/30 نقلاً، بينما ينتج عن الجيران الدلاليين غير المعززين 0/30.
- لا يؤدي حذف أكبر إحداثي وحيد إلى القضاء على التأثير، مما يشير إلى عدم وجود إحداثي واحد متحمل للحمل في متجه التوجيه.
- إعادة حساب المتجه ديناميكياً لكل بادئة أو سياق ذاتي يغير المتجه قليلاً فقط ولا يحسن الأداء مقارنة بالمتجهات الثابتة.
تشير النتائج إلى أن التفاعل بين هوية الإحداثيات ومقدارها المرتب حاسم لنجاح التوجيه، مما يتحدى الافتراضات حول المكونات المتجهة التي تقود سلوك النموذج.