Para penulis memperkenalkan PSALM, sebuah kerangka kerja LLM-as-a-judge yang dirancang untuk mengoperasionalkan doktrin hak cipta UE guna mengevaluasi apropriasi gaya dalam model bahasa besar. Berbeda dengan pengaman yang ada yang berfokus pada hafalan verbatim, PSALM menilai tumpang tindih komputasional dan dimensi gaya seperti gaya penulisan dan suara naratif.
- Kerangka kerja ini memanfaatkan sepuluh evaluator yang mencakup dimensi gaya (gaya penulisan, suara naratif) dan dimensi konten (karakter, alur, adegan, pembangunan dunia).
- Ini juga memperhitungkan pengecualian statistik termasuk parodi, pastiche, kutipan, dan scènes à faire.
- Diterapkan pada model Llama~3.2 yang di-fine-tune pada karya sastra bersejarah Belanda terjemahan, studi menemukan bahwa fine-tuning memicu apropriasi gaya sistematis di luar hafalan verbatim.
- Unlearning dengan Optimisasi Preferensi Negatif terbukti secara substansial mengurangi kemiripan tetapi meninggalkan pola gaya residu yang dapat dideteksi.
PSALM menyediakan infrastruktur untuk evaluasi kepatuhan yang dapat diaudit dan terinformasi hukum, menjembatani standar hukum kualitatif dan pengukuran teknis kuantitatif.