يقدم الباحثون إطارًا نظريًا يشرح ظهور قدرات الاستدلال الاستقرائي في نماذج اللغات المحوّلة من خلال دراسة فئة عامة من المهام الاستقرائية التي توحد المهام الاصطناعية مثل n-grams في السياق والاستدلال متعدد الخطوات.
- تم إثبات أن ديناميكيات التدريب لنماذج الانتباه محصورة في متعدد أشكال ثابت منخفض الأبعاد قابل للتفسير بشكل كبير.
- يتم التقاط ديناميكيات التعلم على هذا المتعدد الأشكال بواسطة عدد قليل من الإحداثيات القابلة للتفسير بدلاً من ملايين المعاملات.
- يصف الإطار كيف تحكم إحصائيات البيانات المنافسة بين التعلم في السياق والتعلم داخل الأوزان.
- تحدد التهيئة العشوائية الدائرة 'الفائزة' عندما تكون هناك حلول متعددة ممكنة.
- يمكن استخدام إطار الإحداثيات المرتبط بالمتعدد الأشكال للكشف تلقائيًا عن الدوائر التي تم تعلمها في النماذج المدربة.
من خلال صياغة تكوين الدوائر كظاهرة ديناميكية منخفضة الأبعاد، تأخذ هذه الدراسة خطوة نحو نظرية تنبؤية لكيفية تعلم المحولات.