Los investigadores han presentado SVD-Surgeon, un método sin entrenamiento que aplica el marco Optimal Brain Surgeon a la descomposición en valores singulares para comprimir modelos de lenguaje grandes. Este enfoque calcula actualizaciones de forma cerrada para los valores singulares retenidos con el fin de compensar los errores de truncamiento y determina qué valores deben podarse basándose en su relevancia.
- El método trata cada valor singular como un parámetro para calcular la compensación de pérdida de segundo orden para los valores eliminados.
- Genera una métrica de relevancia para identificar qué valores singulares deben podarse.
- SVD-Surgeon opera directamente sobre la factorización de valores singulares, lo que le permite superponerse a compresores SVD existentes.
- Cuando se aplica a SVD-LLM, mejora el equilibrio entre perplejidad y compresión en la familia OPT y LLaMA 2-7B sin requerir reentrenamiento.
Esta técnica mejora la eficiencia de la compresión optimizando los valores singulares directamente, ofreciendo una forma de mejorar las métricas de rendimiento del modelo sin el costo computacional del reentrenamiento.