本論文は、LLMにおける抽出可能記憶に関する最近の研究の有効性問題に対処し、先行研究が一般の予測可能性から記憶を区別する必要性を見落としていると主張している。訓練シーケンスの生成確率と比較可能な非訓練シーケンスに対して測定することでベースラインを設定し、一致比較を形式化することを提案している。

  • 著者は、サンプリングされた集団に対する適合検定や、本のような単一文書に対する全数調査など、較正された閾値の2つの手法を導入した。
  • WikipediaにおけるOLMo 2 32Bの分析では、非訓練接尾辞の再現が訓練接尾辞の約24%の頻度で発生しており、これは記憶ではなく偽陽性を示している。
  • 本におけるLlama 3.1 70Bの場合、較正された閾値は1e-27という低い値となり、サンプリングによって抽出が不可能なシーケンスに対する記憶の主張を支えるものである。

著者は、「抽出可能記憶」の定義を、これらの比較に基づく有効な記憶の主張と、現実的な予算内でほぼ確実な生成の両方を必要とするように精緻化した。