O autor relata que o modelo extGemma4-40_5B, uma versão estendida do Gemma 4, supera com sucesso falhas anteriores na inserção de camadas usando uma nova estratégia de inicialização. Ao inicializar novas camadas como uma mistura de seus vizinhos em vez de no-ops, o modelo evita a fome de sinal e permite treinamento eficaz.
- O autor parou de inserir camadas em pontos inadequados e manteve as configurações de volume por camada neutras para preservar a integridade do sinal.
- O treinamento ocorreu em duas rodadas: primeiro congelando o modelo original para ensinar apenas as novas camadas, depois descongelando tudo para ajuste conjunto.
- Os benchmarks mostram que o modelo curado recupera a maior parte do terreno perdido da cirurgia, ficando próximo ao original no GPQA-Diamond.
- Em comparações lado a lado em 10 tópicos diversos, o modelo expandido empatou com o pai em 9 perguntas e o superou em uma pergunta de física envolvendo comprimento de onda de De Broglie.
O experimento demonstra que uma cirurgia estrutural maior em um modelo já ajustado pode curar com sucesso em vez de colapsar em incoerência.