Новое исследование представляет метод оценки того, насколько модель знает о конкретной точке данных, формально разделяя непреднамеренное запоминание и обобщение. Авторы измеряют емкость моделей типа GPT примерно в 3.6 бита на параметр и наблюдают, что модели запоминают до заполнения этой емкости, что запускает «grokking», когда они начинают обобщать.
- Непреднамеренное запоминание определяется как информация о конкретном наборе данных, тогда как обобщение — это информация о истинном процессе генерации данных.
- Общее запоминание дает оценку емкости модели, измеренную примерно в 3.6 бита на параметр для моделей типа GPT.
- Исследователи обучили сотни трансформерных языковых моделей от 500K до 1.5B параметров на наборах данных увеличивающегося размера.
- В исследовании получены законы масштабирования, связывающие емкость модели и размер данных с выводом о членстве в наборе.
Эта работа решает сложность разделения запоминания и обобщения в предыдущих исследованиях, предлагая более четкую структуру для понимания емкости модели и динамики обучения.