एक अध्ययन सीमित मेमोरी वाले भाषा मॉडल (LMLMs) में तथ्यात्मक हटाने का मूल्यांकन करने के लिए एक कारणिक ऑडिटिंग फ्रेमवर्क प्रस्तावित करता है, जो ज्ञान को भूलने के लिए डेटाबेस में बाहरी कर देते हैं। फ्रेमवर्क इनफरेंस के समय डेटाबेस की स्थितियों को बदलकर प्यारामेट्रिक लीकेज को पुनर्प्राप्ति-मध्यस्थ सहीता और आर्टिफैक्ट्स से अलग करता है।
- लेखकों ने चार adversarial टोपोलॉजी और छह प्रॉम्ट फॉर्मूलेशन के साथ तेरह डेटाबेस में 12,228 alias-closure हटाव का परीक्षण किया।
- प्यारामेट्रिक लीकेज शून्य के पास पाया गया, जिसका अर्थ है कि मॉडल पुनर्प्राप्ति के बिना हटाए गए उत्तरों को दुर्लभ रूप से वापस करता है।
- अवशेष ज्ञान मुख्य रूप से near-neighbor पुनर्प्राप्ति के माध्यम से बना रहता है, जिसकी दरें डेटाबेस टोपोलॉजी पर निर्भर करती हैं 0.7% से 13.6% तक।
- प्रॉम्ट फॉर्मूलेशन ने हटाए गए तथ्यों के अस्तित्व को स्वतंत्र रूप से नियंत्रित नहीं किया।
परिणाम संकेत करते हैं कि इस श्रेणी के LMLM के लिए, भूलने की प्रभावशीलता मॉडल के आंतरिक पैरामीटरों के बजाय डेटाबेस प्रशासक द्वारा पुनर्प्राप्ति ग्राफ के प्रबंधन द्वारा निर्धारित होती है।