Sebuah studi baru memperkenalkan metode untuk memperkirakan seberapa banyak model mengetahui tentang titik data tertentu, secara formal memisahkan hafalan yang tidak diinginkan dari generalisasi. Para penulis mengukur kapasitas model gaya GPT sekitar 3,6 bit per parameter dan mengamati bahwa model menghafal hingga kapasitas ini penuh, memicu "grokking" saat mereka mulai menggeneralisasi.
- Hafalan yang tidak diinginkan didefinisikan sebagai informasi tentang kumpulan data tertentu, sedangkan generalisasi adalah informasi tentang proses generasi data yang sebenarnya.
- Total hafalan memberikan perkiraan kapasitas model, diukur sekitar 3,6 bit per parameter untuk model gaya GPT.
- Para peneliti melatih ratusan model bahasa transformer berkisar dari 500K hingga 1,5 miliar parameter pada kumpulan data dengan ukuran yang meningkat.
- Studi ini menghasilkan hukum penskalaan yang menghubungkan kapasitas model dan ukuran data dengan inferensi keanggotaan.
Karya ini mengatasi kesulitan memisahkan hafalan dari generalisasi dalam studi sebelumnya, menawarkan kerangka kerja yang lebih jelas untuk memahami kapasitas model dan dinamika pelatihan.