Une nouvelle étude introduit une méthode pour estimer la quantité d'informations qu'un modèle possède sur un point de données spécifique, séparant formellement la mémorisation involontaire de la généralisation. Les auteurs mesurent la capacité des modèles de style GPT à environ 3,6 bits par paramètre et observent que les modèles mémorisent jusqu'à ce que cette capacité soit remplie, déclenchant un "grokking" lorsqu'ils commencent à généraliser.

  • La mémorisation involontaire est définie comme l'information sur un ensemble de données spécifique, tandis que la généralisation est l'information sur le véritable processus de génération des données.
  • La mémorisation totale fournit une estimation de la capacité du modèle, mesurée à environ 3,6 bits par paramètre pour les modèles de style GPT.
  • Les chercheurs ont entraîné des centaines de modèles linguistiques transformer allant de 500K à 1,5 milliard de paramètres sur des ensembles de données de taille croissante.
  • L'étude produit des lois d'échelle reliant la capacité du modèle et la taille des données à l'inférence d'appartenance.

Ce travail aborde la difficulté de désenchevêtrer la mémorisation de la généralisation dans les études antérieures, offrant un cadre plus clair pour comprendre la capacité du modèle et la dynamique d'entraînement.