SLORR introduz regularização de baixo posto sem estado durante o treinamento

Pesquisadores apresentam o SLORR, um framework para regularização de baixo posto durante o treinamento que é sem estado e preserva a arquitetura. Ele usa aproximações amigáveis à GPU para regularizar matrizes de pesos sem modificar o modelo ou depender de quantidades em cache.

• O SLORR inclui variantes baseadas na métrica de esparsidade de Hoyer e na norma nuclear.
• A avaliação no ImageNet-1K mostra que induz compressibilidade com menos de 8% de sobrecarga de treinamento para modelos ResNet e ViT.
• Testes em pré-treinamento de LLM nas escalas de 135M e 560M mostram que os modelos comprimidos preservam o desempenho melhor do que os não regularizados, com sobrecarga média inferior a 1%.