본 논문은 LLM의 추출 가능 기억에 대한 최근 연구의 타당성 문제를 다루며, 기존 연구가 일반 예측 가능성과 기억을 구분할 필요성을 간과했다고 주장합니다. 훈련 시퀀스의 생성 확률을 비교 가능한 비훈련 시퀀스에 대해 측정하여 기준선을 설정함으로써 일치 비교를 형식화할 것을 제안합니다.

  • 저자들은 표본 추출된 집단에 대한 정합성 검정과 책과 같은 단일 문서에 대한 전수 조사 등 보정된 임계값의 두 가지 방법을 도입했습니다.
  • Wikipedia에서 OLMo 2 32B를 분석한 결과, 비훈련 접미사의 복제가 훈련 접미사의 약 24% 빈도로 발생하여 이는 기억이 아닌 위양성을 나타냅니다.
  • 책 데이터셋에서 Llama 3.1 70B의 경우 보정된 임계값은 1e-27로 매우 낮아, 샘플링을 통해 추출하기 어려운 시퀀스에 대한 기억 주장을 뒷받침합니다.

저자들은 '추출 가능 기억'의 정의를 이러한 비교에 기반한 유효한 기억 주장과 현실적인 예산 내에서 거의 확실한 생성 모두를 필요로 하도록 정교화했습니다.