يقدم الباحثون MAESTRO، وهو إطار عمل للقص الهيكلي لنماذج اللغة Mixture-of-Experts (MoE) ذات التنشيط المتناثر الذي يعالج عنق الزجاجة في الذاكرة لبنوك الخبراء الكاملة. تقوم الطريقة بنمذجة مسارات تنشيط الخبراء الذاتية كسلاسل ماركوف الإرجودية لالتقاط التبعيات عبر الطبقات، مما يوفر دليلاً مهماً واعياً عالمياً.
- يقيّم MAESTRO أهمية الخبراء باستخدام التوجيه القائم على الانتقال بدلاً من الدلائل المحلية.
- يحقق حتى 10.61% أعلى في متوسط الاحتفاظ بالأداء مقارنة بالأساسيات المتقدمة تحت نظام ضغط صارم بنسبة 50%.
- يُظهر النهج تبايناً عبر المهام أقل بشكل كبير، مما يشير إلى تعميم أكثر اتساقاً عبر مهام متنوعة تشمل السلامة والتحيز والأخلاقيات.