Penulis melaporkan bahwa model extGemma4-40_5B, versi ekstensi dari Gemma 4, berhasil mengatasi kegagalan sebelumnya dalam penyisipan lapisan dengan menggunakan strategi inisialisasi baru. Dengan menginisialisasi lapisan baru sebagai campuran dari tetangganya daripada sebagai no-ops, model menghindari kelaparan sinyal dan memungkinkan pelatihan yang efektif.
- Penulis berhenti menyisipkan lapisan di tempat-tempat yang tidak tepat dan mempertahankan pengaturan volume per-lapisan agar netral untuk menjaga integritas sinyal.
- Pelatihan terjadi dalam dua putaran: pertama membekukan model asli untuk hanya mengajarkan lapisan baru, kemudian membuka kunci semuanya untuk penyesuaian bersama.
- Benchmark menunjukkan bahwa model yang sembuh memulihkan sebagian besar kerugian dari operasi, mendekati yang asli di GPQA-Diamond.
- Dalam perbandingan berdampingan di 10 topik beragam, model yang diperluas seri dengan induknya pada 9 pertanyaan dan mengunggulinya pada pertanyaan fisika yang melibatkan panjang gelombang de Broglie.
Eksperimen ini menunjukkan bahwa operasi struktural besar pada model yang sudah disetel halus dapat sembuh dengan sukses daripada runtuh menjadi omong kosong.