يُعد FlashMorph طريقة مبتكرة لتحويل نماذج المحولات (Transformers) إلى هندسات هجينة توازن بين دقة الانتباه الكامل وكفاءة الانتباه الخطي من خلال تحسين اختيار الطبقات كمشكلة مجموعة فرعية مقيدة بالميزانية. تبني النهج نموذجاً قابلاً للتشكيل مع فروع انتباه متوازية وتحسن بشكل مشترك بوابات الطبقة تلو الأخرى على بيانات اصطناعية لتحديد التكوين الأمثل.
- يصيغ FlashMorph اختيار الطبقات الهجينة كمشكلة تحسين مجموعة فرعية مقيدة بالميزانية بدلاً من الاعتماد على استراتيجيات تقريبية.
- يزود كل طبقة انتباه كامل بفرع انتباه خطي محول ويجمد أوزان النموذج أثناء تحسين البوابات على مستوى الطبقات.
- يشجع الانتظام الخطّي على الاعتماد على الانتباه الخطي للكفاءة أثناء عملية تحسين البوابات.
- تُجرّد البوابات المتعلمة ضمن ميزانية انتباه كاملة محددة مسبقاً لتجسيد الهندسة الهجينة النهائية.
- تستخدم الطريقة تقطير اللوغيت القياسي والضبط الدقيق للسياق الطويل بعد التجسيد.
يكتشف FlashMorph تكوينات هجينة أكثر فعالية تحافظ على استدعاء قوي للسياق الطويل وأداء المعايير العامة مع تقليل تكاليف اختيار الطبقات بشكل كبير مقارنة بالطرق الحالية.