mistral.rs प्रोजेक्ट ने संस्करण 0.9.0 जारी किया, जिसने x86 और ARM आर्किटेक्चर पर CPU-आधारित इनफरेंस के लिए महत्वपूर्ण प्रदर्शन सुधार प्रदान किए। Qwen3 4B Q4_K मॉडल पर बेंचमार्क दिखाते हैं कि हर मापी गई संदर्भ गहराई पर mistral.rs, llama.cpp की तुलना में तेजी से डीकोड करता है।
- अपडेट में सभी समर्थित मॉडल के लिए सामान्य स्पीडअप प्रदान करने के लिए डिज़ाइन किए गए सूक्ष्म अनुकूलन शामिल हैं।
- प्रदर्शन लाभ विभिन्न क्षमताओं वाले CPU पर लागू होते हैं, जिनमें AVX2 या AVX512 वाले x86 प्रोसेसर और NEON वाले ARM प्रोसेसर शामिल हैं।
- प्रत्येक बिंदु को उस विशिष्ट इंजन के लिए सर्वोत्तम संभव प्रदर्शन का प्रतिनिधित्व सुनिश्चित करने के लिए दोनों इंजन के लिए कॉन्फ़िगरेशन की स्वीपिंग करके परीक्षण किया गया था।
रिलीज के साथ उपयोगकर्ता mistral.rs ISQ सिस्टम का उपयोग करके Hugging Face से सीधे Qwen 3.5/3.6, Gemma 4 और LFM 2.5 जैसे मॉडल चला सकते हैं।