Pengguna mendistilasi DeepSeek v4 Pro ke model Gemma 4 26B-A4B dan 12B

Seorang pengguna melakukan fine-tuning pada Gemma 4 26B-A4B dan Gemma 4 12B menggunakan QLoRA untuk membandingkan arsitektur dense versus Mixture-of-Experts selama pelatihan. Dataset dihasilkan oleh DeepSeek v4 Pro dari Natural Questions, dengan biaya $0.36 untuk 1200 permintaan.

• Model 26B mengonsumsi VRAM sekitar 2x lipat dari 12B (28.6 vs 14.3 GB) tetapi mencapai loss pelatihan yang jauh lebih rendah (0.18 vs 0.71).
• Dense 12B lebih cepat dalam waktu nyata (54 vs 72 menit) dan memiliki throughput per-GPU yang lebih tinggi (345 vs 261 tok/s).
• Norm gradien dari 12B sekitar 5.4x lebih berisik daripada 26B, dan pengguna mencatat kemungkinan overfitting pada model yang lebih kecil.

Penulis menyediakan checkpoint GGUF untuk kedua model dan dataset tersebut agar memungkinkan reproduksi proses fine-tuning.