एक उपयोगकर्ता ने प्रशिक्षण के दौरान घन संरचनाओं बनाम मिक्स्चर-ऑफ-एक्सपर्ट्स (Mixture-of-Experts) की तुलना करने के लिए QLoRA का उपयोग करके Gemma 4 26B-A4B और Gemma 4 12B को फाइन-ट्यून किया। डेटासेट DeepSeek v4 Pro द्वारा नेचुरल क्वेश्चन्स (Natural Questions) से उत्पन्न किया गया था, जिसमें 1200 अनुरोधों के लिए $0.36 खर्च हुए।
- 26B मॉडल ने 12B की तुलना में ~2x अधिक VRAM उपभोग किया (28.6 बनाम 14.3 GB), लेकिन उल्लेखनीय रूप से कम ट्रेन लॉस (0.18 बनाम 0.71) हासिल किया।
- घन 12B वॉल-क्लॉक समय में तेज था (54 बनाम 72 मिनट) और प्रति GPU थ्रूपुट अधिक था (345 बनाम 261 tok/s)।
- 12B का ग्रेडिएंट नॉर्म 26B की तुलना में ~5.4x अधिक शोरयुक्त था, और उपयोगकर्ता ने छोटे मॉडल में संभावित ओवरफिटिंग को नोट किया।
लेखक फाइन-ट्यूनिंग प्रक्रिया की पुनरुत्पादकता की अनुमति देने के लिए दोनों मॉडल और डेटासेट के लिए GGUF चेकपॉइंट प्रदान करते हैं।