Автор сообщает, что модель extGemma4-40_5B, расширенная версия Gemma 4, успешно преодолевает предыдущие неудачи при вставке слоев благодаря новой стратегии инициализации. Инициализируя новые слои как смесь их соседей, а не как no-op, модель избегает голодания сигнала и позволяет эффективно обучаться.
- Автор прекратил вставку слоев в неудобных местах и сохранил настройки объема на слой нейтральными для сохранения целостности сигнала.
- Обучение проходило в два этапа: сначала замораживалась исходная модель, чтобы обучать только новые слои, затем все размораживалось для совместной настройки.
- Бенчмарки показывают, что восстановленная модель возвращает большую часть потерь от «хирургии», приближаясь к оригиналу по GPQA-Diamond.
- В сравнениях бок о бок по 10 разнообразным темам расширенная модель показала ничью с родительской на 9 вопросах и превзошла ее в вопросе по физике, касающемся длины волны де Бройля.
Эксперимент демонстрирует, что крупная структурная «хирургия» уже дообученной модели может завершиться успешно, а не привести к бессмыслице.