L'auteur rapporte que le modèle extGemma4-40_5B, une version étendue de Gemma 4, a réussi à surmonter les échecs précédents d'insertion de couches grâce à une nouvelle stratégie d'initialisation. En initialisant les nouvelles couches comme un mélange de leurs voisines plutôt que comme des no-ops, le modèle évite la famine du signal et permet un entraînement efficace.
- L'auteur a arrêté d'insérer des couches à des endroits inappropriés et a maintenu les paramètres de volume par couche neutres pour préserver l'intégrité du signal.
- L'entraînement s'est déroulé en deux rounds : d'abord en gelant le modèle original pour n'enseigner que les nouvelles couches, puis en dégelant tout pour un réglage conjoint.
- Les benchmarks montrent que le modèle réparé récupère la plupart du terrain perdu lors de la chirurgie, se rapprochant de l'original sur GPQA-Diamond.
- Dans des comparaisons côte à côte sur 10 sujets divers, le modèle étendu a égalé le parent sur 9 questions et l'a surpassé sur une question de physique impliquant la longueur d'onde de de Broglie.
L'expérience démontre qu'une chirurgie structurelle majeure sur un modèle déjà finement ajusté peut guérir avec succès plutôt que de s'effondrer en charabia.