SLORR memperkenalkan regularisasi rank-rendah sederhana dan stateless selama pelatihan

Peneliti memperkenalkan SLORR, sebuah kerangka kerja untuk regularisasi rank-rendah selama pelatihan yang bersifat stateless dan melestarikan arsitektur. Ini menggunakan aproksimasi yang ramah GPU untuk menregularisasi matriks bobot tanpa memodifikasi model atau bergantung pada kuantitas yang di-cache.

• SLORR mencakup varian berdasarkan metrik sparsity Hoyer dan norma nuklir.
• Evaluasi pada ImageNet-1K menunjukkan bahwa hal itu menginduksi kompresibilitas dengan overhead pelatihan kurang dari 8% untuk model ResNet dan ViT.
• Uji coba pada pra-pelatihan LLM di skala 135M dan 560M menunjukkan bahwa model yang terkompresi mempertahankan kinerja lebih baik daripada yang tidak diregularisasi dengan overhead rata-rata di bawah 1%.