लेखकों ने PSALM पेश किया, जो एक "LLM-as-a-judge" फ्रेमवर्क है जिसे बड़े भाषा मॉडलों में शैलीगत अधिग्रहण का मूल्यांकन करने के लिए EU कॉपीराइट सिद्धांत को संचालित करने के लिए डिज़ाइन किया गया है। मौजूदा सुरक्षा उपायों के विपरीत जो शब्दशः स्मृति पर केंद्रित हैं, PSALM कंप्यूटेशनल ओवरलैप और लेखन शैली व कथन ध्वनि जैसे शैलीगत आयामों का मूल्यांकन करता है।
- फ्रेमवर्क दस मूल्यांककर्ताओं का उपयोग करता है जो शैलीगत आयामों (लेखन शैली, कथन ध्वनि) और सामग्री आयामों (पात्र, कथानक, दृश्य, विश्व निर्माण) को कवर करते हैं।
- यह व्यंग्य, पastiche, उद्धरण और scènes à faire सहित सांविधिक अपवादों को भी ध्यान में रखता है।
- अनुवादित ऐतिहासिक डच साहित्यिक कार्यों पर फाइन-ट्यून्ड Llama~3.2 मॉडलों पर लागू करने पर, अध्ययन ने पाया कि फाइन-ट्यूनिंग शब्दशः स्मृति के परे व्यवस्थित शैलीगत अधिग्रहण को प्रेरित करती है।
- नकारात्मक प्राथमिकता अनुकूलन (Negative Preference Optimisation) भूलभुलैया द्वारा समानता में महत्वपूर्ण कमी दिखाई गई, लेकिन यह पहचान योगशेष शैलीगत पैटर्न छोड़ देती है।
PSALM ऑडिटेबल, कानूनी रूप से सूचित अनुपालन मूल्यांकन के लिए बुनियादी ढांचा प्रदान करता है, गुणात्मक कानूनी मानकों और मात्रात्मक तकनीकी माप को जोड़ता है।