शोधकर्ताओं ने LACUNA पेश किया है, जो ground-truth पैरामीटर-स्तर स्थानीयकरण वाला पहला अनसीखने टेस्टबेड है, जो मौजूदा बेंचमार्क्स की सीमाओं को दूर करने के लिए बनाया गया है जो केवल आउटपुट स्तर पर अनसीखने का मूल्यांकन करते हैं। टेस्टबेड में सिंथेटिक व्यक्तिगत पहचान योग्य जानकारी को 1B और 7B OLMo-आधारित मॉडलों के पूर्व-निर्धारित पैरामीटर में मास्क्ड निरंतर प्रीट्रेनिंग के माध्यम से इंजेक्ट किया जाता है, जिससे यह सीधे मूल्यांकन करने की अनुमति मिलती है कि क्या अनसीखने विधियां ज्ञान भंडारण के लिए जिम्मेदार विशिष्ट वजन को लक्षित कर रही हैं।
- LACUNA OLMo मॉडल पैरामीटर में इंजेक्ट किए गए सिंथेटिक व्यक्तियों का उपयोग करके स्थानीयकरण सटीकता का मूल्यांकन करने की अनुमति देता है।
- बेंचमार्किंग से पता चलता है कि अत्याधुनिक विधियाँ आउटपुट स्तर पर मजबूत प्रदर्शन के बावजूद अत्यधिक असटीक हैं और पुनः प्रकट होने वाले हमलों के प्रति संवेदनशील हैं।
- अध्ययन दिखाता है कि सफल स्थानीयकरण तक साधारण ग्रेडिएंट-आधारित अनसीखने विधियों को मजबूत मिटाव और दृढ़ता प्राप्त करने की अनुमति देता है।
लेखक व्यवहारिक मूल्यांकन को पूरा करने और स्थानीयकरण-आधारित दृढ़ अनसीखने में further उन्नति को बढ़ावा देने के लिए LACUNA जारी करते हैं।