يقترح الباحثون عتبة الحساسية واعية للتخفيف (SATS) وإطار توجيه رمزي خفيف لتحسين الاستدلال في نماذج اللغة الكبيرة. تحل SATS محل المعايرة القائمة على النسب المئوية بوسيط حساسية إخراج MLP المحلي لتحديد عتبات البوابة لكل طبقة، بينما يختار إطار التوجيه ديناميكياً مسارات الحساب لكل رمز.
- تستخدم SATS قاعدة اختيار واعية للحساسية بدلاً من نسب التنشيط للمعايرة العتبية.
- يوجه الرموز ديناميكياً بين المسارات الأساسية والمعدلة على أساس كل رمز.
- أظهرت التقييمات على نماذج لغة كبيرة ذات أوزان مفتوحة أن SATS تحسن على أساسيات التخفيف القائمة على العتبة عند نفس التنشيط الفعلي.
- يوفر توجيه الرموز مقايضة جودة-إنتاجية أكثر ملاءمة من أساسيات تعديل التنشيط الثابتة.
يستنتج المؤلفون أن معايرة العتبة المحسنة وتوجيه الرموز يمكن أن يعززا مقايضة الجودة والإنتاجية في نماذج اللغة الكبيرة.