قام مستخدم بتطبيق إزالة المعيار المحفوظ عبر الإسقاط الثنائي على نموذج Qwen3.6-35B-A3B، محققًا معدل رفض بنسبة 0% على مجموعة اختبار محفوظة مع الحفاظ على اختبارات الرياضيات والبرمجة سليمة.
تقوم التقنية بإسقاط صفوف الأوزان عموديًا على اتجاه الرفض وإعادة قياسها إلى معيار L2 الأصلي، مما يمنع تدهور أداء الاختبارات الناتج عن الإزالة العادية. يتناول المؤلف تحديات محددة في هندسة مزيج الخبراء الهجين، بما في ذلك التعامل مع طبقات الانتباه الذاتي المختلط وطبقات الانتباه الخطي، وتطبيق الإسقاطات عبر einsum على موترات الخبراء ثلاثية الأبعاد.
يشمل العمل مجموعة بيانات ضارة غنية مفتوحة المصدر تحتوي على 7,356 طلبًا عبر 35 فئة، ويقدم نقاط تفتيش للنموذج وكودًا لإعادة إنتاج النتائج.