यह पेपर ट्रान्सफॉर्मर मॉडल की सीखने योग्यता का अनुसंधान करता है, उन पिछले सैद्धांतिक कार्यों से आगे बढ़ते हुए जो मुख्य रूप से अभिव्यक्तिशीलता और परिकल्पना वर्ग के लक्षणों पर केंद्रित थे। लेखक ट्रान्सफॉर्मर्स के साथ C-RASP संरचनाओं को सीखने के लिए प्रारंभिक नमूना जटिलता सीमाएं प्रस्तावित करते हैं।
- पिछला सैद्धांतिक कार्य हस्तनिर्मित वजन या गणनात्मक जटिलता तर्कों का उपयोग करके यह लक्षणित करता था कि कौन से कार्य ट्रान्सफॉर्मर मॉडल की परिकल्पना वर्ग में हैं।
- ऐसे समाधानों की सीखने योग्यता का अनुसंधान करने वाला पूर्व में बहुत कम कार्य था।
- अध्ययन C-RASP संरचनाओं को सीखने के लिए प्रारंभिक नमूना जटिलता सीमाएं प्रस्तावित करता है।