Les auteurs présentent PSALM, un cadre LLM-as-a-judge conçu pour opérationnaliser la doctrine du droit d'auteur de l'UE afin d'évaluer l'appropriation stylistique dans les grands modèles de langage. Contrairement aux garde-fous existants qui se concentrent sur la mémorisation littérale, PSALM évalue le chevauchement computationnel et les dimensions stylistiques telles que le style d'écriture et la voix narrative.
- Le cadre utilise dix évaluateurs couvrant les dimensions stylistiques (style d'écriture, voix narrative) et les dimensions de contenu (personnage, intrigue, scène, construction du monde).
- Il prend également en compte les exceptions statutaires telles que la parodie, le pastiche, la citation et les scènes à faire.
- Appliqué aux modèles Llama~3.2 affinés sur des œuvres littéraires historiques néerlandaises traduites, l'étude a révélé que l'affinage induit une appropriation stylistique systématique au-delà de la mémorisation littérale.
- Le désapprentissage par optimisation des préférences négatives a considérablement réduit la similarité mais a laissé des motifs stylistiques résiduels détectables.
PSALM fournit une infrastructure pour une évaluation de la conformité auditable et informée juridiquement, reliant les normes juridiques qualitatives et la mesure technique quantitative.