SLORR memperkenalkan regularisasi rank rendah selama pelatihan dengan overhead minimal

Peneliti memperkenalkan SLORR, sebuah framework stateless dan pelestari arsitektur untuk regularisasi rank rendah selama pelatihan yang menghindari kebutuhan akan SVD atau parameter yang dapat dilatih tambahan. Metode ini menggunakan aproksimasi yang ramah GPU untuk menormalisasi matriks bobot asli, diinstansiasi melalui metrik sparsity Hoyer dan varian norma nuklir.

• Dievaluasi pada ImageNet-1K dengan ResNet-50, ViT-B/16, ViT-L/16, dan ResNet-18, SLORR menginduksi kompresibilitas dengan overhead pelatihan kurang dari 8%.
• Dalam pra-pelatihan LLM pada skala 135M dan 560M, SLORR-Hoyer memungkinkan model terkompresi mempertahankan kinerja secara substansial lebih baik daripada yang tidak dinormalisasi sambil menambahkan overhead pelatihan rata-rata kurang dari 1%.

Pendekatan ini memungkinkan kompresi model yang efektif selama pelatihan tanpa secara signifikan memengaruhi efisiensi komputasi atau mengubah arsitektur mendasar.