SLORR introduz regularização de baixo rank durante o treinamento com sobrecarga mínima

Pesquisadores apresentam o SLORR, um framework sem estado e que preserva a arquitetura para regularização de baixo rank durante o treinamento que evita a necessidade de SVDs ou parâmetros treináveis adicionais. O método utiliza aproximações amigáveis à GPU para regularizar as matrizes de peso originais, instanciadas via métrica de esparsidade de Hoyer e variantes da norma nuclear.

• Avaliado no ImageNet-1K com ResNet-50, ViT-B/16, ViT-L/16 e ResNet-18, o SLORR induz compressibilidade com menos de 8% de sobrecarga de treinamento.
• No pré-treinamento de LLMs nas escalas de 135M e 560M, o SLORR-Hoyer permite que modelos comprimidos preservem o desempenho substancialmente melhor do que os não regularizados, enquanto adiciona menos de 1% de sobrecarga média de treinamento.

Esta abordagem permite uma compressão eficaz do modelo durante o treinamento sem impactar significativamente a eficiência computacional ou alterar a arquitetura subjacente.