memaudit टूल LLMs में Trainer या TRL के साथ फाइन-ट्यूनिंग किए जाने पर प्रशिक्षण डेटा मेमोरिज़ेशन के लिए एक ओपन-सोर्स, स्थानीय ऑडिट प्रदान करता है। यह दो महत्वपूर्ण गोपनीयता चिंताओं को संबोधित करता है: सदस्यता अनुमान (क्या विशिष्ट डेटा का उपयोग किया गया था यह पता लगाना) और रीगर्जिटेशन (क्या सामग्री शब्दशः उत्सर्जित होती है यह सत्यापित करना)।
- पहचान सक्षम बनाने के लिए प्रशिक्षण डेटा में पूर्व-पंजीकृत «कैनरी» रिकॉर्ड इंजेक्ट करता है।
- बर्फ वाले LoRA एम्बेडिंग्स से शांत विफलताओं को रोकने के लिए PEFT-जागरूक प्री-फ्लाइट जांच शामिल करता है।
- सदस्यता अनुमान और रीगर्जिटेशन दोनों मेट्रिक्स रिपोर्ट करता है, क्योंकि वे असहमत हो सकते हैं।
- पूरी तरह से स्थानीय, कोई बाहरी निर्भरता या खाता आवश्यकता नहीं।
यह टूल उपयोगकर्ताओं को गोपनीयता विनियमों के अनुपालन को दस्तावेज़ करने में मदद करता है, संश्लेषित उदाहरणों पर निर्भर रहने के बजाय मेमोरिज़ेशन जोखिमों की ठोस प्रदान करता है।