Pesquisadores investigaram se padrões espectrais recorrentes em modelos pré-treinados ao estilo GPT-2 podem servir como um sinal de inicialização para novas execuções de pré-treinamento. O estudo analisou onze checkpoints para medir a norma de Frobenius e a entropia do posto efetivo através das camadas e subcomponentes do Transformer.
- Os checkpoints exibiram tendências de profundidade compartilhadas, incluindo aumento de escala e maior concentração espectral nas matrizes de escrita residual.
- Esquemas de inicialização foram construídos para imitar as magnitudes componente a componente e os perfis espectrais dos modelos pré-treinados.
- Os resultados da avaliação não mostraram vantagem de desempenho desses inicializadores em comparação com métodos padrão de inicialização de pesos.
- A reutilização de pesos pré-treinados permaneceu competitiva, enquanto o ajuste espectral grosseiro provou ser pouco confiável como estratégia de otimização.
As descobertas sugerem que, embora os espectros pré-treinados sejam diagnósticos úteis da estrutura do modelo, a reutilização eficaz requer preservar informações mais ricas do que apenas escala componente a componente e forma de valor singular.