生成式模型的水印取证：信息论视角

本文分析了生成式模型中水印功能（如用户归属、有效载荷提取和定位）的信息论成本。它引入了一个信息配置文件来量化每个 token 揭示了关于秘密的多少，确立了检测依赖于分布距离，而其他任务则依赖于信息质量。

• 针对 N 个用户的多用户归属在平稳遍历源上需要 Θ(log N/h) 个 token，通过对实现惊喜度进行阈值处理来实现。
• 提取 l 位有效载荷需要 Θ(l/h) 个 token。
• 存在一个 Θ(log N) 个 token 的窗口，其中的文本可证明是机器生成的但无法归属。
• 在 GPT-2、Pythia-410M 和 Qwen2.5 上的实验恢复了预测的常数。

该研究为多用户归属提供了紧密的熵率定律，并确定了水印设计中的基本限制，如足迹分辨率不确定性。