Los investigadores investigaron si los patrones espectrales recurrentes en los modelos preentrenados al estilo GPT-2 pueden servir como una señal de inicialización para nuevas ejecuciones de preentrenamiento. El estudio analizó once puntos de control para medir la norma de Frobenius y la entropía del rango efectivo a través de las capas y los subcomponentes del Transformer.

  • Los puntos de control exhibieron tendencias de profundidad compartidas, incluyendo un aumento de escala y una mayor concentración espectral en las matrices de escritura residual.
  • Se construyeron esquemas de inicialización para imitar las magnitudes componente a componente y los perfiles espectrales de los modelos preentrenados.
  • Los resultados de evaluación mostraron ninguna ventaja de rendimiento de estos inicializadores en comparación con los métodos estándar de inicialización de pesos.
  • La reutilización de pesos preentrenados siguió siendo competitiva, mientras que la coincidencia espectral gruesa resultó poco fiable como estrategia de optimización.

Los hallazgos sugieren que, aunque los espectros preentrenados son diagnósticos útiles de la estructura del modelo, la reutilización efectiva requiere preservar información más rica que solo la escala componente a componente y la forma del valor singular.