Os autores apresentam o PSALM, um framework do tipo "LLM-as-a-judge" projetado para operacionalizar a doutrina de direitos autorais da UE para avaliar a apropriação estilística em grandes modelos de linguagem. Diferente das salvaguardas existentes que focam na memorização literal, o PSALM avalia sobreposição computacional e dimensões estilísticas como estilo de escrita e voz narrativa.
- O framework utiliza dez avaliadores cobrindo dimensões estilísticas (estilo de escrita, voz narrativa) e dimensões de conteúdo (personagem, enredo, cena, construção de mundo).
- Ele também considera exceções estatutárias, incluindo paródia, pastiche, citação e scènes à faire.
- Aplicado a modelos Llama~3.2 ajustados finamente em obras literárias holandesas históricas traduzidas, o estudo encontrou que o ajuste fino induz apropriação estilística sistemática além da memorização literal.
- A otimização negativa de preferências (Negative Preference Optimisation) para esquecimento foi mostrada como capaz de reduzir substancialmente a similaridade, mas deixou padrões estilísticos residuais detectáveis.
O PSALM fornece infraestrutura para avaliação de conformidade auditável e informada legalmente, conectando padrões legais qualitativos e medição técnica quantitativa.