연구자들은 requential coding이라는 방법을 소개했습니다. 이는 파라미터 기반 압축의 한계를 우회하여, 교사 모델이 학생의 분포에서 샘플을 선택함으로써 학습 궤적을 인코딩하는 방식입니다. 이 접근법은 교사와 학생이 불일치하는 비트만 기록하므로, 코드 길이는 파라미터 수나 데이터 엔트로피에 독립적입니다.
- 이 방법은 종종 prequential coding보다 몇 자릿수 더 짧은 코드를 생성하며, 규모가 커질수록 그 장점이 증가합니다.
- 손실을 고정할 때 더 많은 파라미터를 가진 대규모 모델과 앙상블이 더 작은 크기로 압축됩니다.
- PAC-Bayes bound에 적용하면 requential code는 수십억 파라미터 LLM에 대한 최첨단 일반화 보장을 제공합니다.
- 이 기법은 학습 가능한 정보와 무작위 콘텐츠를 분리하여, 저엔트로피 텍스트가 고엔트로피 이미지 데이터보다 더 많은 구조를 가지고 있음을 드러냈습니다.
이 압축 방법은 계산 최적 영역에서 더 조밀한 일반화 경계를 제공하며, 다중 에포크 학습 중 점진적인 과적합을 예측합니다.