एक नई अध्ययन एक विधि पेश करता है जो यह अनुमान लगाने के लिए है कि कोई मॉडल किसी विशिष्ट डेटा बिंदु के बारे में कितना जानता है, अनचाही मेमोराइजेशन को सामान्यीकरण से औपचारिक रूप से अलग करते हुए। लेखकों ने GPT-शैली के मॉडल्स की क्षमता को लगभग 3.6 बिट प्रति पैरामीटर के रूप में मापा है और देखा है कि मॉडल तब तक मेमोराइज करते हैं जब तक यह क्षमता भर नहीं जाती, जिससे "grokking" शुरू होता है जब वे सामान्यीकरण करना शुरू करते हैं।
- अनचाही मेमोराइजेशन को एक विशिष्ट डेटासेट के बारे में जानकारी के रूप में परिभाषित किया गया है, जबकि सामान्यीकरण वास्तविक डेटा-जनरेटिंग प्रक्रिया के बारे में जानकारी है।
- कुल मेमोराइजेशन मॉडल क्षमता का एक अनुमान प्रदान करता है, जिसे GPT-शैली के मॉडल्स के लिए लगभग 3.6 बिट प्रति पैरामीटर के रूप में मापा गया है।
- शोधकर्ताओं ने 500K से 1.5B पैरामीटर तक के सैकड़ों ट्रान्सफॉर्मर भाषा मॉडल्स को बढ़ते आकार के डेटासेट पर प्रशिक्षित किया।
- अध्ययन ने मॉडल क्षमता और डेटा आकार को सदस्यता अनुमान से संबंधित स्केलिंग कानून उत्पन्न किए।
यह कार्य पिछले अध्ययनों में मेमोराइजेशन को सामान्यीकरण से अलग करने की कठिनाई को संबोधित करता है, मॉडल क्षमता और प्रशिक्षण गतिशीलता को समझने के लिए एक स्पष्ट ढांचा प्रदान करता है।