本論文は、生成モデルにおけるユーザー帰属、ペイロード抽出、ローカライゼーションなどの透かし機能の情報理論的コストを分析する。秘密について各トークンがどれだけの情報を明らかにするかを定量化するための情報プロファイルを紹介し、検出が分布距離に依存する一方で他のタスクが情報質量に依存することを示す。

  • 静止エルゴード源に対して、N人のユーザーに対するマルチユーザー帰属にはΘ(log N/h)トークンのコストがかかる。これは実現された驚き度に基づいて候補を閾値処理することで達成される。
  • lビットのペイロードの抽出にはΘ(l/h)トークンが必要である。
  • テキストが機械生成であることが証明されているが帰属不可能なΘ(log N)トークンのウィンドウが存在する。
  • GPT-2、Pythia-410M、Qwen2.5での実験は予測された定数を回復した。

本研究はマルチユーザー帰属のための密なエントロピー率の法則を提供し、透かし設計におけるフットプリント解像度の不確実性などの根本的な限界を特定する。