연구자들은 사전 학습된 GPT-2 스타일 모델에서 반복되는 스펙트럼 패턴이 새로운 사전 학습 실행에 대한 초기화 신호로 사용될 수 있는지 조사했습니다. 이 연구는 11개의 체크포인트를 분석하여 레이어와 Transformer 하위 구성 요소 전반에 걸쳐 Frobenius 노름과 유효 순위 엔트로피를 측정했습니다.
- 체크포인트는 잔여 작성 행렬에서 스케일 증가와 더 강한 스펙트럼 집중을 포함하는 공통된 깊이 경향을 보였습니다.
- 초기화 방식은 사전 학습된 모델의 컴포넌트별 크기와 스펙트럼 프로파일을 모방하도록 구성되었습니다.
- 평가 결과, 이러한 초기화 방법이 표준 가중치 초기화 방법과 비교하여 성능 이점을 제공하지 않는다는 것이 나타났습니다.
- 사전 학습된 가중치 재사용은 경쟁력 있는 상태를 유지한 반면, 거친 스펙트럼 매칭은 최적화 전략으로 신뢰할 수 없음이 입증되었습니다.
이러한 발견은 사전 학습된 스펙트럼이 모델 구조의 유용한 진단 도구이지만, 효과적인 재사용에는 컴포넌트별 스케일과 특이값 형태뿐만 아니라 더 풍부한 정보의 보존이 필요함을 시사합니다.