Les chercheurs proposent Attention Head Reweighting (AHR), une méthode économe en données qui adapte les grands modèles de langage à de nouvelles tâches de classification de texte en apprenant uniquement un scalaire par tête d'attention. Cette approche réduit drastiquement le nombre de paramètres entraînables, modifiant environ 0,0001 % du total des paramètres du modèle.
- AHR exploite la spécialisation fonctionnelle des têtes d'attention individuelles pour adapter les LLM avec un minimum de données.
- Des expériences sur divers ensembles de données de classification de texte open source montrent que AHR surpasse les bases standard comme LoRA lors de l'apprentissage à partir d'échantillons limités.
- La méthode nécessite 200 à 1000 fois moins de paramètres entraînables que les techniques d'adaptation comparables.
- Les poids appris sont interprétables, permettant l'analyse des mécanismes et des têtes d'attention responsables des capacités d'apprentissage en contexte.
Les auteurs considèrent cela important car cela répond au défi de l'apprentissage efficace à partir de données limitées dans des domaines comme la sécurité, où les exemples étiquetés sont rares.