एक उपयोगकर्ता Qwen3.6-35B-A3B मॉडल पर नॉर्म-प्रिजर्विंग बाइप्रोजेक्शन एब्लिटरेशन लागू करता है, जिससे एक हल्का हुआ टेस्ट सेट पर 0% रिफ्यूज़ल दर हासिल होती है जबकि गणित और कोड बेंचमार्क्स अक्षुण्ण रहते हैं।
यह तकनीक वजन पंक्तियों को रिफ्यूज़ल दिशा के लंबवत करती है और उन्हें उनके मूल L2 नॉर्म में पुनः स्केल करती है, जिससे वैनिला एब्लिटरेशन द्वारा होने वाले बेंचमार्क क्षरण को रोका जाता है। लेखक हाइब्रिड मिक्स्चर ऑफ एक्सपर्ट्स आर्किटेक्चर में विशिष्ट चुनौतियों से निपटता है, जिसमें मिक्स्ड सेल्फ-एटेंशन और लीनियर एटेंशन परतों को संभालना शामिल है, और 3D एक्सपर्ट टेंसर पर einsum के माध्यम से प्रोजेक्शन लागू करना शामिल है।
इस कार्य में 7,356 प्रॉम्प्स के साथ 35 श्रेणियों में एक ओपन-सोर्स समृद्ध हार्मफुल डेटासेट शामिल है और परिणामों को पुनः उत्पन्न करने के लिए मॉडल चेकपॉइंट्स और कोड प्रदान करता है।