스펙트럴 서명: 가중치 스펙트럴 밀도를 사용하여 대규모 언어 모델을 관리 및 정량화

연구자들은 무거운 꼬리 자기 정규화(Heavy-Tailed Self-Regularization) 이론에서 유도된 스펙트럴 형태 기반 지표를 사용하여 규모에 따른 대규모 언어 모델(Large Language Models)의 관리 및 정량화 과제를 해결할 것을 제안합니다. 이 접근 방식은 사전 학습된 모델의 고유한 특성을 포착하면서 사후 훈련 동안에도 강건함을 유지하는 컴팩트한 서명으로서 가중치 경험적 스펙트럴 밀도의 형태 정보를 활용합니다.

• 이 지표는 데이터가 필요 없으며, 계산 효율적이고 스케일 불변성(scale-invariant)을 갖추어 실제적인 대규모 분석을 가능하게 합니다.
• 주요 오픈소스 LLM 패밀리의 선별된 코퍼스를 사용하여 모델 및 다운스트림 작업 간에 스펙트럴 및 비스펙트럴 지표를 벤치마킹했습니다.
• 스펙트럴 서명은 모델 계보 추적, 유사 모델의 비지도 클러스터링 및 모델 성능 정량화를 지원합니다.

제안된 방법은 광범위한 성능 추세를 위한 의미 있는 대안을 제공하여 대규모 모델 컬렉션의 효율적인 조직화, 비교 및 분석을 가능하게 합니다.