llama.cpp प्रोजेक्ट ने बिल्ड b10672 जारी किया है, जिसने OpenVINO बैकएंड को संस्करण 2026.3.1 पर अपडेट किया और NPU पर Whisper.cpp मॉडल्स के लिए समर्थन जोड़ा।
- OpenVINO बैकएंड अब IM2COL + MatMul कन्वोल्यूशन को एकल OpenVINO कन्वोल्यूशन ऑपरेशन में फ्यूज करता है।
- अपडेटेड बैकएंड के माध्यम से Qwen3.5 मॉडल्स को NPU पर निष्पादन के लिए सक्षम किया गया है।
- OpenVINO बैकएंड में RELU, POOL_2D, QUICK_GEGLU और ROLL सहित नए ऑपरेशन समर्थित हैं।
- गतिशील स्लॉट आयाम प्रसारण और टोकन गणना स्वतंत्रता समस्याओं को ठीक करने के लिए स्थिर आकार हैंडलिंग को सुधारा गया है।
- चंक्ड प्रीफिल लॉजिक को ठीक किया गया ताकि पैडेड टोकन रिकरेंट कैश में स्थायी रूप से फोल्ड न हों, इससे रोका जा सके।
- एक नया पर्यावरण चर GGML_OPENVINO_NPU_COMPILE_CONFIG उपयोगकर्ताओं को अनुकूलन-स्तर=3 जैसे NPU कंपाइलेशन पैरामीटर कॉन्फ़िगर करने की अनुमति देता है।
यह अपडेट OpenVINO उपयोगकर्ताओं, विशेष रूप से Intel NPUs को लक्षित करने वालों के लिए इनफ्रेंस प्रदर्शन और मॉडल संगतता में सुधार लाता है।