Pesquisadores propõem o Super, um método de ajuste fino esparsa eficiente em parâmetros que fixa um suporte treinável pequeno usando escores de magnitude ponderados por ativação no estilo Wanda calculados a partir de uma passagem de calibração. Eles também apresentam o Supra, um adaptador híbrido que combina essa atualização esparsa com LoRA enquanto preserva um orçamento de parâmetros treináveis correspondente por meio de uma regra simples de divisão de orçamento.
- O Super usa um suporte fixo selecionado por escores de magnitude ponderados por ativação no estilo Wanda.
- O Supra combina a atualização esparsa com LoRA usando uma regra de divisão de orçamento.
- Nos experimentos Math17K no Llama-3.2-1B e Meta-Llama-3-8B, as variantes Super/Supra alcançaram a maior precisão média entre as configurações de adaptador selecionadas por agendamento testadas.
- Um suporte apenas de magnitude no estilo PaFi serviu como uma base esparsa sem treinamento.
Os resultados sugerem que ordenações simples inspiradas na poda podem fornecer suportes esparsos fixos úteis para PEFT, especialmente quando combinados com adaptadores de baixo posto.