SLORR introduce una regularización de bajo rango durante el entrenamiento con mínima sobrecarga

Los investigadores presentan SLORR, un framework sin estado y que preserva la arquitectura para la regularización de bajo rango durante el entrenamiento que evita la necesidad de SVDs o parámetros entrenables adicionales. El método utiliza aproximaciones amigables para GPU para regularizar las matrices de peso originales, instanciadas mediante la métrica de esparsidad de Hoyer y variantes de la norma nuclear.

• Evaluado en ImageNet-1K con ResNet-50, ViT-B/16, ViT-L/16 y ResNet-18, SLORR induce compresibilidad con menos del 8% de sobrecarga de entrenamiento.
• En el preentrenamiento de LLM a escalas de 135M y 560M, SLORR-Hoyer permite que los modelos comprimidos preserven el rendimiento sustancialmente mejor que los no regularizados mientras añaden menos del 1% de sobrecarga promedio de entrenamiento.

Este enfoque permite una compresión efectiva del modelo durante el entrenamiento sin impactar significativamente la eficiencia computacional ni alterar la arquitectura subyacente.