Um novo estudo introduz um método para estimar o quanto um modelo sabe sobre um ponto de dados específico, separando formalmente a memorização não intencional da generalização. Os autores medem a capacidade de modelos estilo GPT em aproximadamente 3.6 bits por parâmetro e observam que os modelos memorizam até que essa capacidade seja preenchida, desencadeando "grokking" quando começam a generalizar.
- A memorização não intencional é definida como informação sobre um conjunto de dados específico, enquanto a generalização é informação sobre o verdadeiro processo de geração de dados.
- A memorização total fornece uma estimativa da capacidade do modelo, medida em aproximadamente 3.6 bits por parâmetro para modelos estilo GPT.
- Os pesquisadores treinaram centenas de modelos de linguagem transformer variando de 500K a 1.5B parâmetros em conjuntos de dados de tamanho crescente.
- O estudo produz leis de escalonamento relacionando a capacidade do modelo e o tamanho dos dados à inferência de pertinência.
Este trabalho aborda a dificuldade de separar a memorização da generalização em estudos anteriores, oferecendo um quadro mais claro para entender a capacidade do modelo e a dinâmica de treinamento.