SLORR는 간단하고 상태 없는 학습 중 저랭크 정규화를 도입합니다

연구자들은 상태 없고 아키텍처를 보존하는 학습 중 저랭크 정규화 프레임워크인 SLORR를 소개했습니다. 이는 모델을 수정하거나 캐시된 양에 의존하지 않고 GPU 친화적인 근사를 사용하여 가중치 행렬을 정규화합니다.

• SLORR에는 Hoyer 희소성 지표와 핵 노름을 기반으로 한 변형이 포함됩니다.
• ImageNet-1K에서의 평가는 ResNet 및 ViT 모델에서 학습 오버헤드가 8% 미만으로 압축성을 유도함을 보여줍니다.
• 135M 및 560M 규모의 LLM 사전 훈련 테스트는 압축된 모델이 평균 오버헤드가 1% 미만인 비정규화 모델보다 성능을 더 잘 유지함을 보여주었습니다.