새로운 연구는 모델이 특정 데이터 포인트에 대해 얼마나 많은 지식을 가지고 있는지 추정하는 방법을 도입하여 의도하지 않은 암기와 일반화를 형식적으로 분리했습니다. 저자들은 GPT 스타일 모델의 매개변수당 용량을 약 3.6비트로 측정하고, 이 용량이 가득 차기까지 모델이 암기하며 일반화가 시작될 때 "grokking"이 발생한다는 것을 관찰했습니다.

  • 의도하지 않은 암기는 특정 데이터 세트에 대한 정보로 정의되는 반면, 일반화는 실제 데이터 생성 과정에 대한 정보입니다.
  • 총 암기는 모델 용량의 추정치를 제공하며, GPT 스타일 모델의 경우 매개변수당 약 3.6비트로 측정됩니다.
  • 연구자들은 500K에서 1.5B 매개변수에 이르는 수백 개의 트랜스포머 언어 모델을 증가하는 크기의 데이터 세트에서 훈련했습니다.
  • 이 연구는 모델 용량과 데이터 크기를 멤버십 추론과 관련시키는 스케일링 법칙을 도출했습니다.

이 작업은 기존 연구에서 암기와 일반화를 분리하는 어려움을 해결하며, 모델 용량과 학습 역학을 이해하기 위한 더 명확한 프레임워크를 제공합니다.