该论文解决了近期关于LLM可提取记忆研究中的有效性问题，认为先前的工作往往忽视了区分记忆与一般可预测性的必要性。它提出通过测量训练序列与可比非训练序列的生成概率来形式化匹配比较，从而建立基线。
- 作者引入了两种用于校准阈值的方法：针对抽样人群的共形检验和针对书籍等单个文档的全面普查。
- 对Wikipedia上OLMo 2 32B的分析显示，复现非训练后缀的发生率约为训练序列的24%，这表明是假阳性而非记忆。
- 对于书籍上的Llama 3.1 70B，校准阈值低至1e-27，支持了对那些通过抽样提取不可行的序列存在记忆的声明。
作者完善了“可提取记忆”的定义，要求基于这些比较得出有效的记忆声明，并在现实预算内实现近乎确定的生成。