Les chercheurs proposent d'utiliser des métriques basées sur la forme spectrale dérivées de la théorie de l'auto-régularisation à queues lourdes (Heavy-Tailed Self-Regularization) pour relever les défis de la gestion et de la quantification des grands modèles de langage à grande échelle. Cette approche exploite les informations sur la forme de la densité spectrale empirique des poids comme une signature compacte qui capture les propriétés intrinsèques des modèles pré-entraînés tout en restant robuste pendant l'entraînement postérieur.
- La métrique est indépendante des données, efficace en calcul et invariante à l'échelle, permettant une analyse pratique à grande échelle.
- Un corpus curaté de grandes familles de LLM open-source a été utilisé pour comparer les métriques spectrales et non spectrales entre les modèles et les tâches en aval.
- La signature spectrale permet de suivre la lignée des modèles, le clustering non supervisé des modèles similaires et la quantification des performances des modèles.
La méthode proposée fournit un proxy significatif pour les tendances générales de performance, permettant une organisation, une comparaison et une analyse efficaces de grandes collections de modèles.