यह पत्र LLMs में व्युत्पन्न स्मृति पर हालिया अध्ययनों में वैधता मुद्दों को संबोधित करता है, यह तर्क देते हुए कि पूर्व कार्य अक्सर स्मृति और सामान्य पूर्वानुमान के बीच अंतर करने की आवश्यकता को नजरअंदाज कर देते हैं। यह एक आधार रेखा स्थापित करने के लिए प्रशिक्षण अनुक्रमों की जनरेटिंग प्रायिकताओं की तुलना योग्य गैर-प्रशिक्षण अनुक्रमों के साथ मापकर मेल खाते तुलनों को औपचारिक बनाने का प्रस्ताव रखता है।
- लेखकों ने नमूना आबादी के लिए एक कन्फॉर्मल परीक्षण और किताबों जैसे अकेले दस्तावेजों के लिए एक जनगणना सहित कैलिब्रेटेड थ्रेशोल्ड के लिए दो विधियों का परिचय दिया।
- Wikipedia पर OLMo 2 32B का विश्लेषण दिखाता है कि गैर-प्रशिक्षण स्यूफिक्स को पुनः उत्पन्न करना प्रशिक्षण वाले की तुलना में लगभग 24% दर पर होता है, जो स्मृति के बजाय फॉल्स पॉजिटिव की ओर इशारा करता है।
- किताबों पर Llama 3.1 70B के लिए, कैलिब्रेटेड थ्रेशोल्ड 1e-27 तक कम हैं, जो नमूनाकरण के माध्यम से व्युत्पन्न करना असंभव होने वाले अनुक्रमों के लिए स्मृति दावों का समर्थन करते हैं।
लेखकों ने "व्युत्पन्न स्मृति" की परिभाषा को परिष्कृत किया है ताकि इन तुलनों पर आधारित एक वैध स्मृति दावे और एक यथार्थवादी बजट के भीतर लगभग निश्चित जनरेशन दोनों की आवश्यकता हो।