تحقق الباحثون مما إذا كانت الأنماط الطيفية المتكررة في نماذج على طراز GPT-2 المدربة مسبقًا يمكن أن تعمل كإشارة تهيئة لتشغيلات التدريب المسبق الجديدة. حللت الدراسة أحد عشر نقطة فحص لقياس معيار فروبينيوس وإنتروبيا الرتبة الفعالة عبر الطبقات والمكونات الفرعية للـ Transformer.
- أظهرت نقاط الفحص اتجاهات عمق مشتركة، بما في ذلك زيادة المقياس وتركيز طيفي أقوى في مصفوفات الكتابة المتبقية.
- تم بناء مخططات تهيئة لمحاكاة مقادير المكونات على حدة والملفات الطيفية للنماذج المدربة مسبقًا.
- أظهرت نتائج التقييم عدم وجود ميزة أداء من هذه المُهيئات مقارنةً بطرق تهيئة الأوزان القياسية.
- ظلت إعادة استخدام الأوزان المدربة مسبقًا تنافسية، بينما ثبت أن المطابقة الطيفية الخشنة غير موثوقة كاستراتيجية تحسين.
تشير النتائج إلى أنه على الرغم من أن الأطياف المدربة مسبقًا هي أدوات تشخيصية مفيدة لبنية النموذج، فإن إعادة الاستخدام الفعالة تتطلب الحفاظ على معلومات أكثر ثراءً من مجرد مقياس المكونات على حدة وشكل القيم المفردة.