Пользователь дообучил Gemma 4 26B-A4B и Gemma 4 12B с использованием QLoRA для сравнения плотных архитектур и архитектуры Смешивания Экспертов (Mixture-of-Experts) во время обучения. Набор данных был сгенерирован DeepSeek v4 Pro из Natural Questions, что обошлось в $0.36 за 1200 запросов.

  • Модель 26B потребляет ~2x больше VRAM, чем модель 12B (28.6 против 14.3 GB), но достигла значительно меньшей потери при обучении (0.18 против 0.71).
  • Плотная модель 12B была быстрее по реальному времени (54 против 72 мин) и имела более высокую пропускную способность на GPU (345 против 261 tok/s).
  • Нормировка градиента модели 12B была ~5.4x более зашумленной, чем у модели 26B, и пользователь отметил вероятное переобучение в меньшей модели.

Автор предоставляет чекпоинты GGUF для обеих моделей и набора данных, чтобы обеспечить воспроизводимость процесса дообучения.