Un usuario destila DeepSeek v4 Pro en los modelos Gemma 4 26B-A4B y 12B

Un usuario ajustó finamente Gemma 4 26B-A4B y Gemma 4 12B utilizando QLoRA para comparar arquitecturas densas frente a Mezcla de Expertos durante el entrenamiento. El conjunto de datos fue generado por DeepSeek v4 Pro a partir de Natural Questions, costando $0.36 por 1200 solicitudes.

• El modelo de 26B consumió ~2x más VRAM que el de 12B (28.6 vs 14.3 GB) pero logró una pérdida de entrenamiento significativamente menor (0.18 vs 0.71).
• El denso de 12B fue más rápido en tiempo real (54 vs 72 min) y tuvo un mayor rendimiento por GPU (345 vs 261 tok/s).
• La norma del gradiente del modelo de 12B fue ~5.4x más ruidosa que la del modelo de 26B, y el usuario notó una posible sobreajuste en el modelo más pequeño.

El autor proporciona puntos de control GGUF para ambos modelos y el conjunto de datos para permitir la reproducibilidad del proceso de ajuste fino.