Исследователи представляют SLORR, фреймворк для низкорангового регуляризации во время обучения, который не требует сохранения состояния и сохраняет архитектуру. Он использует аппроксимации, удобные для GPU, для регуляризации весовых матриц без изменения модели или использования кэшированных величин.

  • SLORR включает варианты на основе метрики разреженности Хойера и ядерной нормы.
  • Оценка на ImageNet-1K показывает, что он обеспечивает сжимаемость с накладными расходами менее 8% для моделей ResNet и ViT.
  • Тесты на предобучении LLM в масштабах 135M и 560M показывают, что сжатые модели лучше сохраняют производительность по сравнению с нерегуляризованными при средних накладных расходах менее 1%.