शोधकर्ताओं ने LACUNA पेश किया, जो पहला भूलने टेस्टबेड है जिसमें ज्ञान संचय के लिए जिम्मेदार विशिष्ट वजन को लक्षित करने का मूल्यांकन करने के लिए ग्राउंड-ट्रुथ पैरामीटर-स्तर स्थानीयकरण शामिल है। टेस्टबेड 1B और 7B OLMo-आधारित मॉडलों के पूर्व-निर्धारित पैरामीटर में संश्लेषित व्यक्तिगत पहचान योग्य जानकारी को मास्क्ड निरंतर प्रीट्रेनिंग के माध्यम से इंजेक्ट करता है।
- LACUNA सीधे इस बात का मूल्यांकन करने की अनुमति देता है कि क्या भूलने के तरीके ज्ञान संचय के लिए जिम्मेदार विशिष्ट वजन को लक्षित करते हैं।
- बेंचमार्किंग से पता चलता है कि अत्याधुनिक विधियां अत्यंत असटीक हैं और आउटपुट-स्तर पर मजबूत प्रदर्शन के बावजूद पुनः प्रकट होने वाले हमलों के प्रति संवेदनशील हैं।
- अध्ययन दिखाता है कि सफल स्थानीयकरण से ग्रेडिएंट-आधारित साधारण विधियां भी मजबूत मिटाव और पुनः प्रकट होने के प्रति दृढ़ता हासिल कर सकती हैं।
लेखकों ने व्यवहारिक मूल्यांकनों को पूरक करने और स्थानीयकरण-आधारित दृढ़ भूलने में आगे की उन्नति को बढ़ावा देने के लिए LACUNA जारी किया है।