저자는 Gemma 4의 확장 버전인 extGemma4-40_5B 모델이 새로운 초기화 전략을 사용하여 레이어 삽입 이전의 실패를 극복했다고 보고합니다. 새 레이어를 노오프(no-ops)가 아니라 이웃 레이어의 혼합으로 초기화함으로써 모델은 신호 기아를 피하고 효과적인 학습을 가능하게 합니다.
- 저자는 어색한 지점에서 레이어 삽입을 중단하고 신호 무결성을 보존하기 위해 레이어별 볼륨 설정을 중립적으로 유지했습니다.
- 학습은 두 라운드에 걸쳐 진행되었습니다: 먼저 원본 모델을 고정하여 새 레이어만 가르친 후, 모든 것을 고정 해제하여 공동 조정했습니다.
- 벤치마크 결과, 수술로 잃었던 대부분의 성능이 회복되어 GPQA-Diamond에서 원본 모델에 근접했습니다.
- 10가지 다양한 주제에 대한 병렬 비교에서 확장 모델은 부모 모델과 9개의 질문에서 동점을 기록했으며, 드브로이 파장과 관련된 물리 문제에서는 이를 능가했습니다.
이 실험은 이미 파인튜닝된 모델에 대한 주요 구조적 수술이 쓰레기 출력으로 붕괴되는 것이 아니라 성공적으로 회복될 수 있음을 보여줍니다.