लेखकों ने एक विधि पेश की है जो सीमित, नामित इकाइयों का उपयोग करके पठनीय ट्रान्सफॉर्मर्स बनाती है जो घन सक्रियताओं के बजाय धुंधले समुच्चय संक्रियाओं के रूप में कार्य करती हैं। स्पष्टता दंड को ऑपरेटरों को मृत स्थिरांक में गिरने से रोकने के लिए, वे एक लक्ष्य पठनीयता मापदंड के रूप में प्रत्येक चैनल के लिए विचरण फ्लोर लागू करते हैं।
- दृष्टिकोण हाथ से सेट किए गए आरक्षित-GELU विभाजनों की आवश्यकता को समाप्त कर देता है, प्रति इकाई अंश सीखकर, 87% गणना को स्पष्ट ऑपरेटरों के माध्यम से रूट करता है।
- परिणामी मॉडल में 78% पठनीय फ़ीडफॉरवर्ड ऑपरेंड और 50% पठनीय ध्यान मान चैनल प्राप्त होते हैं, जहाँ प्रति-हेड पठनीयता सतही परतों में 18% से गहरी परतों में 78% तक बढ़ जाती है।
- इन इकाइयों में संपादन काफी अधिक स्थानीय होते हैं, जिसमें वे स्थान जहाँ संपादन केंद्रित होते हैं, उनमें 50-184x सुधार प्रदान करते हैं।
- इकाइयों के बीच डिकोरिलेशन दबाव गुणवत्ता लागत के बिना सर्किट पुन: उपयोग को स्वतंत्रता के लिए बदलने की अनुमति देता है, अवधारणाओं को सर्जिकली संपादन योग्य इकाइयों में बदल देता है।
यह विधि उन स्पष्ट संयोजनों को लक्षित करने वाले संपादन सक्षम बनाती है जिन्हें एक अकेला न्यूरॉन व्यक्त नहीं कर सकता, जबकि पारंपरिक आधार रेखाओं के साथ गुणवत्ता समानता बनाए रखता है।