O artigo aborda questões de validade em estudos recentes sobre memorização extraível em LLMs, argumentando que o trabalho anterior frequentemente negligencia a necessidade de distinguir memorização de previsibilidade geral. Ele propõe formalizar comparações pareadas medindo as probabilidades de geração de sequências de treinamento contra sequências não de treinamento comparáveis para estabelecer uma linha de base.

  • Os autores introduzem dois métodos para limiares calibrados: um teste conformal para populações amostradas e um censo para documentos individuais como livros.
  • A análise do OLMo 2 32B na Wikipedia mostra que reproduzir sufixos não de treinamento ocorre aproximadamente a 24% da taxa dos de treinamento, indicando falsos positivos em vez de memorização.
  • Para o Llama 3.1 70B em livros, os limiares calibrados são tão baixos quanto 1e-27, apoiando reivindicações de memorização para sequências que seriam inviáveis de extrair via amostragem.

Os autores refinam a definição de "memorização extraível" para exigir tanto uma reivindicação válida de memorização baseada nessas comparações quanto uma geração quase certa dentro de um orçamento realista.