Los investigadores proponen Super, un método de ajuste fino disperso eficiente en parámetros que fija un soporte entrenable pequeño utilizando puntuaciones de magnitud ponderadas por activación al estilo Wanda calculadas a partir de una pasada de calibración. También presentan Supra, un adaptador híbrido que combina esta actualización dispersa con LoRA mientras preserva un presupuesto de parámetros entrenables coincidente mediante una regla simple de división de presupuesto.
- Super utiliza un soporte fijo seleccionado por puntuaciones de magnitud ponderadas por activación al estilo Wanda.
- Supra combina la actualización dispersa con LoRA utilizando una regla de división de presupuesto.
- En los experimentos Math17K en Llama-3.2-1B y Meta-Llama-3-8B, las variantes Super/Supra lograron la mayor precisión promedio entre las configuraciones de adaptador seleccionadas por horario probadas.
- Un soporte solo de magnitud al estilo PaFi sirvió como una base dispersa sin entrenamiento.
Los resultados sugieren que los órdenes simples inspirados en la poda pueden proporcionar soportes dispersos fijos útiles para PEFT, especialmente cuando se combinan con adaptadores de bajo rango.