Usuário destila DeepSeek v4 Pro nos modelos Gemma 4 26B-A4B e 12B

Um usuário ajustou finamente o Gemma 4 26B-A4B e o Gemma 4 12B usando QLoRA para comparar arquiteturas densas versus Mixture-of-Experts durante o treinamento. O conjunto de dados foi gerado pelo DeepSeek v4 Pro a partir do Natural Questions, custando $0.36 por 1200 solicitações.

• O modelo de 26B consumiu ~2x mais VRAM que o de 12B (28.6 vs 14.3 GB), mas alcançou uma perda de treinamento significativamente menor (0.18 vs 0.71).
• O denso de 12B foi mais rápido em tempo real (54 vs 72 min) e teve maior throughput por GPU (345 vs 261 tok/s).
• A norma do gradiente do modelo de 12B foi ~5.4x mais ruidosa que a do modelo de 26B, e o usuário observou possível overfitting no modelo menor.

O autor fornece checkpoints GGUF para ambos os modelos e o conjunto de dados para permitir a reprodutibilidade do processo de ajuste fino.