SLORR는 최소한의 오버헤드로 훈련 중 저랭크 정규화를 단순하게 도입

연구자들은 SVD나 추가 학습 가능 매개변수의 필요성을 피하는 훈련 중 저랭크 정규화를 위한 상태 비저장 및 아키텍처 보존 프레임워크인 SLORR를 소개했습니다. 이 방법은 Hoyer 희소성 지표와 핵 노름 변형을 통해 인스턴스화되며 GPU 친화적 근사를 사용하여 원래 가중치 행렬을 정규화합니다.

• ImageNet-1K에서 ResNet-50, ViT-B/16, ViT-L/16 및 ResNet-18로 평가된 SLORR는 8% 미만의 훈련 오버헤드로 압축성을 유도합니다.
• 135M 및 560M 규모의 LLM 사전 훈련에서 SLORR-Hoyer는 압축된 모델이 정규화되지 않은 모델보다 훨씬 더 나은 성능을 유지하면서 평균 훈련 오버헤드를 1% 미만으로 추가합니다.

이 접근 방식은 계산 효율성에 큰 영향을 주지 않고 기본 아키텍처를 변경하지 않으면서 훈련 중 효과적인 모델 압축을 가능하게 합니다.