Para peneliti menyelidiki apakah pola spektral berulang dalam model gaya GPT-2 pra-pelatihan dapat berfungsi sebagai sinyal inisialisasi untuk menjalankan pra-pelatihan baru. Studi ini menganalisis sebelas checkpoint untuk mengukur norma Frobenius dan entropi rank efektif di seluruh lapisan dan subkomponen Transformer.
- Checkpoint menunjukkan tren kedalaman bersama, termasuk peningkatan skala dan konsentrasi spektral yang lebih kuat dalam matriks penulisan residual.
- Skema inisialisasi dibangun untuk meniru magnitudo komponen-demi-komponen dan profil spektral dari model pra-pelatihan.
- Hasil evaluasi menunjukkan tidak ada keunggulan kinerja dari inisialisator ini dibandingkan dengan metode inisialisasi bobot standar.
- Pemakaian ulang bobot pra-pelatihan tetap kompetitif, sementara pencocokan spektral kasar terbukti tidak andal sebagai strategi optimisasi.
Temuan tersebut menunjukkan bahwa meskipun spektral pra-pelatihan adalah diagnostik yang berguna untuk struktur model, pemakaian ulang yang efektif memerlukan pelestarian informasi yang lebih kaya daripada hanya skala komponen-demi-komponen dan bentuk nilai singular.