تبحث هذه الورقة في قابلية تعلم نماذج Transformer، متجاوزة الأعمال النظرية السابقة التي ركزت بشكل أساسي على التعبير وتمثيل فئة الفرضيات. يقترح المؤلفون حدودًا أولية لتعقيد العينة لتعلم بنى C-RASP باستخدام Transformers.
- قامت الأعمال النظرية السابقة بتمثيل المهام التي تنتمي إلى فئة الفرضيات لنماذج Transformer باستخدام أوزان مصنوعة يدويًا أو حجج التعقيد الحسابي.
- لم يبحث القليل من الأعمال السابقة في قابلية تعلم هذه الحلول.
- تقترح الدراسة حدودًا أولية لتعقيد العينة لتعلم بنى C-RASP.