vLLM प्रोजेक्ट ने संस्करण 0.25.1 जारी किया, जिसमें मिश्रित-प्रकार के allreduce RMSNorm क्वांट फ्यूजन के लिए एक बगफिक्स शामिल है।
- अपडेट फ्रेमवर्क में मिश्रित-प्रकार के allreduce RMSNorm क्वांट फ्यूजन के साथ एक समस्या को संबोधित करता है।
vLLM v0.25.1 मिश्रित-प्रकार के allreduce RMSNorm क्वांट फ्यूजन को ठीक करता है
अनुवादित English → हिन्दी