एक Reddit उपयोगकर्ता की रिपोर्ट है कि 32GB VRAM वाले एक उपभोक्ता GPU पर 5-बिट तक क्वांटाइज़ किए गए ओपन-सोर्स Gemma 4 31B मॉडल को चलाने से, ChatGPT के मानक मुफ्त स्तर की तुलना में काफी बेहतर गुणवत्ता मिलती है।
- उपयोगकर्ता ने स्थानीय बड़े भाषा मॉडल (LLM) चलाने के लिए 32GB VRAM वाली एक GPU खरीदी।
- उन्होंने प्रारंभिक संदेशों की समाप्ति के बाद, Gemma 4 31B के प्रदर्शन की तुलना OpenAI के डिफ़ॉल्ट मॉडल से की।
- उपयोगकर्ता ने गुणवत्ता में अंतर को महत्वपूर्ण बताया है, यह सुझाव देते हुए कि मुफ्त उपयोगकर्ताओं के लिए कम गुणवत्ता वाले मॉडल का उपयोग करके OpenAI लागत में कटौती कर रहा हो सकता है।
पोस्ट स्थानीय ओपन-सोर्स मॉडल्स की प्रोप्राइटरी सेवाओं के साथ प्रतिस्पर्धा करने की बढ़ती क्षमता को उजागर करती है।