作者报告称，extGemma4-40_5B 模型（Gemma 4 的扩展版本）通过使用新的初始化策略，成功克服了之前层插入中的失败。通过将新层初始化为邻居的混合而非 no-op，该模型避免了信号饥饿并允许有效训练。

  • 作者停止在尴尬的位置插入层，并保持每层体积设置中性以保留信号完整性。
  • 训练分两轮进行：首先冻结原始模型仅教授新层，然后解冻所有内容以进行联合调整。
  • 基准测试显示，修复后的模型恢复了手术损失的大部分，在 GPQA-Diamond 上接近原始模型。
  • 在 10 个不同主题的并排比较中，扩展模型在 9 个问题中与父模型持平，并在涉及德布罗意波长的物理问题上超越了它。

该实验表明，对已经微调过的模型进行重大结构手术可以成功修复，而不是崩溃成胡言乱语。