يشرح إطار نظري جديد ظهور قدرات الاستدلال الاستقرائي في نماذج اللغة المحوّلة من خلال دراسة فئة معمّمة من المهام الاستقرائية التي توحد المهام الاصطناعية مثل n-grams في السياق والاستدلال متعدد القفزات.
- ديناميكيات تدريب نماذج الانتباه مقيدة بمتعدد سطوح ثابت منخفض الأبعاد قابل للتفسير بشكل كبير.
- يتم التقاط ديناميكيات التعلم على هذا المتعدد السطوح بواسطة عدد قليل من الإحداثيات القابلة للتفسير بدلاً من ملايين المعاملات.
- يميز الإطار كيف تحكم إحصائيات البيانات المنافسة بين التعلم في السياق والتعلم داخل الأوزان.
- تحدد التهيئة العشوائية الدائرة 'الفائزة' عندما تكون هناك حلول متعددة ممكنة.
- يمكن استخدام إطار الإحداثيات المرتبط بمتعدد السطوح للكشف تلقائيًا عن الدوائر التي تم تعلمها في النماذج المدربة.
من خلال صياغة تكوين الدوائر كظاهرة ديناميكية منخفضة الأبعاد، تأخذ هذه الدراسة خطوة نحو نظرية تنبؤية لكيفية تعلم المحولات.