Un utilisateur distille DeepSeek v4 Pro dans les modèles Gemma 4 26B-A4B et 12B

Un utilisateur a affiné Gemma 4 26B-A4B et Gemma 4 12B à l'aide de QLoRA pour comparer les architectures denses et Mixture-of-Experts pendant l'entraînement. Le jeu de données a été généré par DeepSeek v4 Pro à partir de Natural Questions, coûtant 0,36 $ pour 1200 requêtes.

• Le modèle 26B a consommé environ 2x la VRAM du 12B (28,6 contre 14,3 Go) mais a atteint une perte d'entraînement significativement plus faible (0,18 contre 0,71).
• Le dense 12B était plus rapide en temps réel (54 contre 72 min) et avait un débit par GPU plus élevé (345 contre 261 tok/s).
• La norme du gradient du 12B était environ 5,4x plus bruitée que celle du 26B, et l'utilisateur a noté une surapprentissage probable dans le modèle plus petit.

L'auteur fournit des points de contrôle GGUF pour les deux modèles et le jeu de données afin de permettre la reproductibilité du processus d'affinage.