turboquant प्रोजेक्ट ने संस्करण 0.3.0 जारी किया है, जिसमें तीन पंक्तियों वाला पैच शामिल है जो Tesla P100 GPUs को प्रभावित करने वाले llama.cpp के CUDA कोड में एक लंबे समय से चली आ रही सटीकता समस्या को ठीक करता है।
- फिक्स ने sm_61 आर्किटेक्चर के लिए मौजूदा छूट को sm_60 (Pascal P100) को शामिल करने के लिए विस्तारित किया, जिससे पिछली खराब पथ की जगह सही fp16 गणित को मजबूर किया गया।
- Qwen3.6-27B पर बेंचमार्किंग ने दिखाया कि माध्य KL divergence 0.0023 से बढ़कर 0.000001 हो गया, और टॉप-टोकन सहमति 96.5% से बढ़कर 99.9% हो गई।
- प्रदर्शन बेंचमार्क संकेत देते हैं कि डिकोड गति लगभग 1.4% बढ़ी, जबकि प्रिफिल्ट शोर के भीतर समान रहा।
- पैच को Volta, Ampere या Blackwell जैसे अन्य आर्किटेक्चर पर शून्य प्रभाव के लिए सत्यापित किया गया है, जो अलग kernels का उपयोग करते हैं।
यह अपडेट स्थानीय LLM इनफरेंस के लिए Tesla P100 की सटीकता और मूल्य को महत्वपूर्ण रूप से सुधारता है, जिसने एक ऐसे बग को संबोधित किया जो पहले आउटपुट गुणवत्ता को खराब कर रहा था लेकिन प्रदर्शन लाभ नहीं दे रहा था।