저자들은 대규모 언어 모델에서 스타일 차용을 평가하기 위해 EU 저작권 교리를 구현하도록 설계된 LLM-as-a-judge 프레임워크인 PSALM을 소개합니다. 기존 안전 장치가 문자 그대로의 암기에 초점을 맞추는 것과 대조적으로, PSALM은 계산적 중첩과 글쓰기 스타일 및 내러티브 보이스와 같은 스타일 차원을 평가합니다.
- 이 프레임워크는 글쓰기 스타일, 내러티브 보이스와 같은 스타일 차원과 캐릭터, 플롯, 장면, 세계 구축과 같은 콘텐츠 차원을 아우르는 10명의 평가자를 활용합니다.
- 패러디, 파슈티시, 인용, scènes à faire를 포함한 법정 예외도 고려합니다.
- 번역된 역사적 네덜란드 문학 작품에 파인튜닝된 Llama~3.2 모델에 적용한 결과, 파인튜닝이 문자 그대로의 암기를 넘어 체계적인 스타일 차용을 유발한다는 것이 발견되었습니다.
- Negative Preference Optimisation 기반의 언러닝은 유사성을 크게 줄였지만 감지 가능한 잔여 스타일 패턴은 남아 있었습니다.
PSALM은 정성적 법적 기준과 정량적 기술 측정을 연결하여 감사 가능하고 법적으로 정보에 기반한 준수 평가를 위한 인프라를 제공합니다.