Les chercheurs ont examiné si les motifs spectraux récurrents dans les modèles de style GPT-2 pré-entraînés peuvent servir de signal d'initialisation pour de nouvelles exécutions de pré-entraînement. L'étude a analysé onze points de contrôle pour mesurer la norme de Frobenius et l'entropie du rang effectif à travers les couches et les sous-composants du Transformer.
- Les points de contrôle ont présenté des tendances de profondeur partagées, notamment une échelle croissante et une concentration spectrale plus forte dans les matrices d'écriture résiduelle.
- Des schémas d'initialisation ont été construits pour imiter les magnitudes composante par composante et les profils spectraux des modèles pré-entraînés.
- Les résultats d'évaluation n'ont montré aucun avantage de performance de ces initialiseurs par rapport aux méthodes standard d'initialisation des poids.
- La réutilisation des poids pré-entraînés est restée compétitive, tandis que l'appariement spectral grossier s'est révélé peu fiable comme stratégie d'optimisation.
Les résultats suggèrent que si les spectres pré-entraînés sont des diagnostics utiles de la structure du modèle, une réutilisation efficace nécessite de préserver des informations plus riches que simplement l'échelle composante par composée et la forme des valeurs singulières.