Les Super Weights dans les LLM ne sont pas entraînables de manière isolée

Des travaux récents ont identifié les Super Weights comme des paramètres individuels dont la suppression dégrade les performances du modèle de plusieurs ordres de grandeur, mais cette étude montre que l'entraînement de ces paramètres spécifiques est inefficace. L'entraînement des Super Weights de manière isolée sur OLMo-1B et OLMo-7B fait chuter la précision jusqu'au niveau d'une devinette aléatoire, même en étendant aux voisinages locaux allant jusqu'à 36K paramètres.

• L'entraînement de Super Weights isolés provoque un effondrement des performances, tandis que l'entraînement d'un nombre égal de positions choisies au hasard améliore la baseline.
• Le LoRA vanilla réussit avec seulement 0,16 % des paramètres en mettant à jour chaque position dans les matrices de poids d'attention via une structure de bas rang.
• L'application de la même mise à jour de bas rang aux couches down_proj réussit également, tandis que la contrainte des mises à jour LoRA aux coordonnées des Super Weights donne des résultats statistiquement indiscernables d'une devinette aléatoire.

Ces résultats établissent que l'importance d'un paramètre n'implique pas sa capacité à être entraîné de manière isolée et qu'un fine-tuning efficace repose sur des décompositions structurées sur l'ensemble des couches plutôt que sur la ciblage de poids individuellement importants.