SLORR представляет простое низкоранговое регуляризованное обучение с минимальными накладными расходами

Исследователи представляют SLORR, безстатный и сохраняющий архитектуру фреймворк для низкоранговой регуляризации в процессе обучения, который избегает необходимости использования SVD или дополнительных обучаемых параметров. Метод использует удобные для GPU аппроксимации для регуляризации исходных весовых матриц, реализованные через метрику разреженности Хойера и варианты ядерной нормы.

• Оценено на ImageNet-1K с ResNet-50, ViT-B/16, ViT-L/16 и ResNet-18; SLORR обеспечивает сжимаемость с накладными расходами на обучение менее 8%.
• При предварительном обучении LLM в масштабах 135M и 560M SLORR-Hoyer позволяет сжатым моделям значительно лучше сохранять производительность по сравнению с нерегуляризованными, добавляя менее 1% средних накладных расходов на обучение.

Этот подход обеспечивает эффективную сжатие моделей во время обучения без значительного влияния на вычислительную эффективность или изменения базовой архитектуры.