SLORR introduce una regularización de bajo rango sin estado durante el entrenamiento

Los investigadores presentan SLORR, un marco para la regularización de bajo rango durante el entrenamiento que es sin estado y preserva la arquitectura. Utiliza aproximaciones amigables con GPU para regularizar las matrices de pesos sin modificar el modelo ni depender de cantidades en caché.

• SLORR incluye variantes basadas en la métrica de dispersión de Hoyer y la norma nuclear.
• La evaluación en ImageNet-1K muestra que induce compresibilidad con menos del 8% de sobrecarga de entrenamiento para modelos ResNet y ViT.
• Las pruebas en preentrenamiento de LLM a escalas de 135M y 560M muestran que los modelos comprimidos preservan mejor el rendimiento que los no regularizados con una sobrecarga promedio inferior al 1%.