Авторы представляют PSALM, фреймворк типа "LLM-as-a-judge", предназначенный для практической реализации доктрины авторского права ЕС с целью оценки стилистического присвоения в больших языковых моделях. В отличие от существующих мер защиты, фокусирующихся на дословном запоминании, PSALM оценивает вычислительное перекрытие и стилистические измерения, такие как стиль письма и повествовательный голос.

  • Фреймворк использует десять оценщиков, охватывающих стилистические измерения (стиль письма, повествовательный голос) и содержательные измерения (персонаж, сюжет, сцена, построение мира).
  • Он также учитывает законодательные исключения, включая пародию, пастиш, цитирование и scènes à faire.
  • Применение к моделям Llama~3.2, дообученным на переведенных исторических голландских литературных произведениях, показало, что дообучение вызывает систематическое стилистическое присвоение, выходящее за рамки дословного запоминания.
  • Негативная оптимизация предпочтений (Negative Preference Optimisation) для забывания показала существенное снижение сходства, но оставила обнаруживаемые остаточные стилистические паттерны.

PSALM предоставляет инфраструктуру для проверяемой оценки соответствия с учетом правовых норм, связывающую качественные правовые стандарты и количественные технические измерения.