著者らは、大規模言語モデルにおけるスタイル盗用を評価するためにEU著作権教義を実装するよう設計されたLLM-as-a-judgeフレームワークであるPSALMを紹介している。既存の保護策が文字通りの暗記に焦点を当てるのとは対照的に、PSALMは計算的重なりや、書き手のスタイルや物語の声といったスタイル次元を評価する。

  • このフレームワークは、書き手のスタイルや物語の声などのスタイル次元と、キャラクター、プロット、シーン、世界構築などのコンテンツ次元をカバーする10人の評価者を利用している。
  • また、パロディ、パシュティッシュ、引用、scènes à faireを含む法定例外も考慮に入れている。
  • 翻訳された歴史的なオランダの文学作品にファインチューニングされたLlama~3.2モデルに適用したところ、ファインチューニングが文字通りの暗記を超えた体系的なスタイル盗用を引き起こすことがわかった。
  • 負の好み最適化によるアンラーニングは類似性を大幅に減少させたが、検出可能な残留的なスタイルパターンを残したままとなった。

PSALMは、質的な法的基準と定量的な技術的測定を結びつけ、監査可能で法的に情報に基づいたコンプライアンス評価のためのインフラストラクチャを提供する。