llama.cpp प्रोजेक्ट ने संस्करण b10833 जारी किया, जिसमें इनफरेंस प्रदर्शन को बेहतर बनाने के लिए विशिष्ट सामान्यीकरण संचालनों को फ्यूज करने वाले Vulkan बैकएंड अनुकूलन शामिल हैं।
- Vulkan बैकएंड में RMS_NORM + MUL + ADD (+ MUL) और RMS_NORM + VIEW + SET_ROWS फ्यूजन का समर्थन।
- IMROPE का समर्थन करने के लिए ROPE + VIEW + SET_ROWS का विस्तार।
- लेखक ने अपने सिस्टम पर gemma4 मॉडलों पर लगभग 4% प्रदर्शन लाभ की रिपोर्ट की है।
यह अपडेट Vulkan-संगत हार्डवेयर पर चलने वाले संगत मॉडलों के लिए उपयोगकर्ताओं को तेज़ इनफरेंस गति प्रदान करता है।