Les chercheurs proposent Super, une méthode de fine-tuning parcimonieuse et efficace en paramètres qui fixe un support entraînable de petite taille à l'aide de scores de magnitude pondérés par l'activation de style Wanda calculés lors d'un passage de calibration. Ils introduisent également Supra, un adaptateur hybride qui combine cette mise à jour sparse avec LoRA tout en préservant un budget de paramètres entraînables correspondant grâce à une règle simple de partage de budget.
- Super utilise un support fixe sélectionné par des scores de magnitude pondérés par l'activation de style Wanda.
- Supra combine la mise à jour sparse avec LoRA à l'aide d'une règle de partage de budget.
- Dans les expériences Math17K sur Llama-3.2-1B et Meta-Llama-3-8B, les variantes Super/Supra ont obtenu la plus haute précision moyenne parmi les configurations d'adaptateur sélectionnées par planning testées.
- Un support basé uniquement sur la magnitude de style PaFi a servi de baseline sparse sans entraînement.
Les résultats suggèrent que des ordonnancements simples inspirés du pruning peuvent fournir des supports fixes utiles pour le PEFT, en particulier lorsqu'ils sont combinés avec des adaptateurs à faible rang.