Turboderp ने ExLlamaV3 v1.0.0 जारी किया है, यह एक वर्ष से अधिक के विकास के बाद लाइब्रेरी का पहला उत्पादन संस्करण है। इस अपडेट में इनफरेंस गति को बढ़ाने और निर्भरताओं को कम करने के लिए महत्वपूर्ण आर्किटेक्चरल बदलाव और कर्नेल अनुकूलन शामिल हैं।
- flash-attention-2 और xformers निर्भरताएं हटा दी गईं।
- Gemma4 सहित अधिकांश मॉडल्स के लिए tensor-parallel समर्थन बढ़ाया गया।
- एक नया ध्यान कर्नेल पेश किया गया जिसमें ऑनलाइन कैश क्वांटिज़ेशन है जो KV क्वांटिज़ेशन की धीमी गति को समाप्त करता है।
- सभी attn/GDN मॉड्यूल के लिए ग्राफ़ पथ और एक नया conv1d कर्नेल जोड़ा गया।
- Ampere GPUs पर GEMM/GEMV प्रदर्शन में काफी सुधार किया गया और एक नया INT8 GEMV कर्नेल जोड़ा गया।
- MoE कर्नेल टिकट शेड्यूलर लागू किया गया और GptOssForCausalLM और NemotronHForCausalLM के लिए समर्थन जोड़ा गया।
इस रिलीज़ का उद्देश्य इन व्यापक अनुकूलनों और बग फिक्स के माध्यम से तेज़ इनफरेंस क्षमताओं और विस्तृत मॉडल संगतता प्रदान करना है।