Pangram Labs对800个预训练语言模型的研究表明，目前占近期网络数据31%以上的“野生”AI生成网络文本，在以处理人类文本为目标时会对模型性能产生负面影响。研究表明，虽然少量AI令牌最初可能有助于数据匮乏的模型，但随着其比例增加，这种影响会迅速转变为损害。
- 对于使用大量人类文本进行训练的大型模型，添加AI令牌几乎立即导致损失上升，而新的人类令牌则继续降低损失。
- 现有的缩放定律无法预测这种行为；作者提出了一种新的定律，包含独立的收益和损害项，与现有方法相比将预测误差降低了41%。
- 该研究建议对面向人类的模型过滤AI文本，在添加AI数据前重复人类文本，并分别报告针对人类文本和AI文本的验证损失。
这些发现表明，AI文本仅在目标为AI文本时才具有价值，而在训练以人为中心任务时应进行过滤或谨慎处理。作者发布了带有标签的83B令牌语料库WildAI，以及代码和模型权重。