El autor informa que el modelo extGemma4-40_5B, una versión extendida de Gemma 4, supera con éxito los fallos anteriores en la inserción de capas mediante una nueva estrategia de inicialización. Al inicializar las nuevas capas como una mezcla de sus vecinas en lugar de como no-ops, el modelo evita el hambre de señal y permite un entrenamiento efectivo.

  • El autor dejó de insertar capas en puntos incómodos y mantuvo los ajustes de volumen por capa neutros para preservar la integridad de la señal.
  • El entrenamiento se realizó en dos rondas: primero congelando el modelo original para enseñar solo las nuevas capas, luego descongelando todo para un ajuste conjunto.
  • Los benchmarks muestran que el modelo sanado recupera la mayor parte del terreno perdido por la cirugía, quedándose cerca del original en GPQA-Diamond.
  • En comparaciones lado a lado en 10 temas diversos, el modelo expandido empató con el padre en 9 preguntas y lo superó en una pregunta de física sobre la longitud de onda de De Broglie.

El experimento demuestra que una cirugía estructural mayor en un modelo ya afinado puede sanar exitosamente en lugar de colapsar en incoherencia.