एक डेवलपर ने कोडिंग कार्यों के लिए Mistral Medium 3.5 मॉडल के 3-बिट क्वांटाइज्ड संस्करण का उपयोग करने के बारे में अपनी प्रारंभिक प्रतिक्रियाएं साझा कीं। उपयोगकर्ता ने रिपोर्ट की कि मॉडल ने उनके प्रोजेक्ट में उन समस्याओं को पहचान लिया जो उनके पिछले दैनिक ड्राइवर से चूक गए थे, और इसके प्रदर्शन को "वास्तव में अच्छा" बताया, हालांकि यह Mixture-of-Experts (MoE) मॉडलों की तुलना में धीमा था।
- क्वांटाइज़ेशन: Unsloth Q3_KS के साथ KV कैश को q8_0 और मानों को q5_0 तक क्वांटाइज किया गया।
- प्रदर्शन: 80k संदर्भ विंडो के साथ प्रति सेकंड 8 टोकन प्राप्त किए।
- क्षमता: उन कोड त्रुटियों को सफलतापूर्वक खोजा जो उपयोगकर्ता के पिछले मॉडल से छूट गई थीं।
पोस्ट एक सामुदायिक पूछताछ के रूप में कार्य करता है, अन्य डेवलपर्स से इस विशिष्ट dense मॉडल कॉन्फ़िगरेशन को सॉफ्टवेयर विकास के लिए उपयोग करने के बारे में अपने अनुभव और विचार साझा करने का अनुरोध करता है।