शोधकर्ताओं ने LACUNA पेश किया, जो पहला अनलर्निंग टेस्टबेड है जिसमें ग्राउंड-ट्रुथ पैरामीटर-लेवल लोकलाइज़ेशन शामिल है ताकि यह मूल्यांकन करने की खाई को पूरा किया जा सके कि क्या अनलर्निंग वास्तव में मॉडल पैरामीटर से ज्ञान मिटा रहा है। टेस्टबेड सिंथेटिक व्यक्तियों के PII को 1B और 7B OLMo-आधारित मॉडलों के पूर्व-परिभाषित पैरामीटर में मास्क्ड निरंतर प्रीट्रेनिंग के माध्यम से इंजेक्ट करता है।
- LACUNA अनलर्निंग के इस बात का सीधा मूल्यांकन करने की अनुमति देता है कि क्या यह ज्ञान भंडारण के लिए जिम्मेदार वजन को निशाना बना रहा है।
- बेंचमार्किंग से पता चलता है कि वर्तमान SOTA विधियाँ आउटपुट-लेवल प्रदर्शन के बावजूद अत्यंत असटीक हैं।
- मौजूदा विधियाँ आउटपुट-लेवल पर प्रभावी लगने के बावजूद रिसर्फेसिंग हमलों के प्रति संवेदनशील बनी हुई हैं।
- सफल लोकलाइज़ेशन सरल ग्रेडिएंट-आधारित अनलर्निंग को मजबूत मिटाव और दृढ़ता प्राप्त करने की अनुमति देता है।
लेखक व्यवहारिक मूल्यांकन की पूर्ति और स्थिर, लोकलाइज़ेशन-आधारित अनलर्निंग में आगे की प्रगति को बढ़ावा देने के लिए LACUNA जारी करते हैं।