L'article traite des problèmes de validité dans les études récentes sur la mémorisation extractible dans les LLM, arguant que les travaux antérieurs négligent souvent le besoin de distinguer la mémorisation de la prévisibilité générale. Il propose de formaliser les comparaisons appariées en mesurant les probabilités de génération des séquences d'entraînement par rapport à des séquences non d'entraînement comparables pour établir une ligne de base.
- Les auteurs introduisent deux méthodes pour des seuils calibrés : un test conforme pour les populations échantillonnées et un recensement pour les documents uniques comme les livres.
- L'analyse de OLMo 2 32B sur Wikipédia montre que la reproduction des suffixes non d'entraînement se produit à environ 24 % du taux des séquences d'entraînement, indiquant des faux positifs plutôt qu'une mémorisation.
- Pour Llama 3.1 70B sur les livres, les seuils calibrés sont aussi bas que 1e-27, soutenant les affirmations de mémorisation pour des séquences qui seraient irréalistes à extraire par échantillonnage.
Les auteurs affinent la définition de la "mémorisation extractible" pour exiger à la fois une affirmation de mémorisation valide basée sur ces comparaisons et une génération quasi certaine dans un budget réaliste.