Makalah ini membahas masalah validitas dalam studi terbaru tentang memorisasi yang dapat diekstraksi pada LLM, dengan berargumen bahwa pekerjaan sebelumnya sering mengabaikan kebutuhan untuk membedakan memorisasi dari prediktabilitas umum. Makalah ini mengusulkan memformalkan perbandingan yang cocok dengan mengukur probabilitas generasi dari urutan pelatihan dibandingkan dengan urutan non-pelatihan yang sebanding untuk menetapkan garis dasar.
- Penulis memperkenalkan dua metode untuk ambang batas terkalibrasi: uji konformal untuk populasi sampel dan sensus untuk dokumen tunggal seperti buku.
- Analisis OLMo 2 32B pada Wikipedia menunjukkan bahwa reproduksi sufiks non-pelatihan terjadi sekitar 24% dari tingkat sufiks pelatihan, yang mengindikasikan hasil positif palsu daripada memorisasi.
- Untuk Llama 3.1 70B pada buku, ambang batas terkalibrasi serendah 1e-27, mendukung klaim memorisasi untuk urutan yang tidak mungkin diekstraksi melalui pengambilan sampel.
Penulis menyempurnakan definisi "memorisasi yang dapat diekstraksi" untuk memerlukan klaim memorisasi yang valid berdasarkan perbandingan ini dan generasi yang hampir pasti dalam anggaran yang realistis.