Un nuevo estudio introduce un método para estimar cuánto sabe un modelo sobre un punto de datos específico, separando formalmente la memorización no intencionada de la generalización. Los autores miden la capacidad de los modelos estilo GPT en aproximadamente 3.6 bits por parámetro y observan que los modelos memorizan hasta que esta capacidad se llena, desencadenando "grokking" cuando comienzan a generalizar.
- La memorización no intencionada se define como información sobre un conjunto de datos específico, mientras que la generalización es información sobre el verdadero proceso de generación de datos.
- La memorización total proporciona una estimación de la capacidad del modelo, medida en aproximadamente 3.6 bits por parámetro para modelos estilo GPT.
- Los investigadores entrenaron cientos de modelos de lenguaje transformer que van desde 500K hasta 1.5B parámetros en conjuntos de datos de tamaño creciente.
- El estudio produce leyes de escalado que relacionan la capacidad del modelo y el tamaño de los datos con la inferencia de membresía.
Este trabajo aborda la dificultad de desentrañar la memorización de la generalización en estudios previos, ofreciendo un marco más claro para comprender la capacidad del modelo y la dinámica de entrenamiento.