حلل باحث مستقل تطور التمثيلات المخفية أثناء الاستدلال عبر سبعة نماذج ذات أوزان مفتوحة، بما في ذلك GPT-2 وOPT-125M وLlama-3.2-1B، لتحديد الأنظمة الديناميكية الداخلية بما يتجاوز معايير الإخراج القياسية.
- تُظهر مسارات الحالة المخفية حالات وسيطة وظيفية قابلة للتكرار مثل المعالجة الشبيهة بالنحو والسلوك الشبيه باتخاذ القرار، مما يسمح بالتجميع بناءً على الديناميكيات الداخلية بدلاً من عدد المعاملات.
- تفسر المسوح الخطية الفئات الوظيفية من التمثيلات المخفية بدقة عالية، رغم أن هذا الأداء ينهار تحت تبديل العلامات، أو المدخلات الغاوسية العشوائية، أو تبديل الميزات.
- تحافظ الدورانات المتعامدة للفضاء المخفي على أداء التفسير، مما يشير إلى أن المعلومات مشفرة في الهندسة النسبية للتمثيلات بدلاً من الخلايا العصبية الفردية أو الأبعاد.
- تظهر التواقيع الوظيفية على طبقات مطلقة متفاوتة عبر المعماريات، مما يشير إلى أن الحساب مُنظم كأنظمة وظيفية متطورة بدلاً من طبقات نحوية أو دلالية ثابتة.
يسعى المؤلف للحصول على ملاحظات نقدية من خبراء في التفسير الميكانيكي وتعلم التمثيلات للتحقق من هذه الملاحظات التجريبية وتحديد تجارب التحكم اللازمة.