Исследователи изучали, могут ли повторяющиеся спектральные паттерны в предобученных моделях типа GPT-2 служить сигналом инициализации для новых запусков предобучения. В исследовании проанализированы одиннадцать контрольных точек для измерения нормы Фробениуса и энтропии эффективного ранга по слоям и подкомпонентам Трансформера.

  • Контрольные точки демонстрировали общие тенденции глубины, включая увеличение масштаба и более сильную спектральную концентрацию в матрицах, записывающих остаточные связи.
  • Схемы инициализации были построены для имитации компонентных величин и спектральных профилей предобученных моделей.
  • Результаты оценки не показали преимущества производительности от этих инициализаторов по сравнению со стандартными методами инициализации весов.
  • Повторное использование предобученных весов оставалось конкурентоспособным, тогда как грубое спектральное согласование оказалось ненадежной стратегией оптимизации.

Выводы указывают на то, что, хотя предобученные спектры являются полезной диагностикой структуры модели, эффективное повторное использование требует сохранения более богатой информации, чем просто компонентный масштаб и форма сингулярных значений.