llama.cpp b10858 रिलीज़ आसन्न UNARY एक्टिवेशन (GELU, SIGMOID, SILU, SOFTPLUS) और MUL ऑपरेशंस के लिए Vulkan कर्नेल फ्यूजन पेश करती है। यह अनुकूलन अनावश्यक मेमोरी एक्सेस और रनटाइम ब्रांचिंग को हटाकर प्रॉम्प्ट-प्रोसेसिंग गति में 10-18% की रिग्रेशन को पुनः प्राप्त करता है।
- फ्यूज्ड पाइलाइंस f32 और f16 के लिए विशेष SPIR-V शेडर्स का उपयोग करके GELU, SIGMOID, SILU और SOFTPLUS को MUL के साथ संभालती हैं।
- ग्राफ ऑप्टिमाइज़र अब VIEW या RESHAPE जैसे शून्य-कंप्यूट नोड्स द्वारा अलग किए गए होने पर भी फ्यूज्ड पेयर्स को शेड्यूल करता है, जिससे Gemma4 जैसे मॉडल्स में पाए जाने वाले पैटर्न के लिए समर्थन बढ़ जाता है।
- OP-on-B फ्यूजन का समर्थन छोटे MUL ऑपरेंड पर एक्टिवेशन की अनुमति देता है, जो शेयर्ड-एक्सपर्ट आर्किटेक्चर में कुशल गेटिंग को सक्षम बनाता है।
- बैकएंड टेस्ट 'gate' और 'view_mid' सहित नए लेआउट्स को कवर करते हैं ताकि विभिन्न टेंसर आकारों केAcross सहीपन की पुष्टि की जा सके।
Vulkan बैकएंड में कंप्यूटेशनल ओवरहेड को कम करके, एक्टिवेशन गेटिंग मशीनिज़म पर भारी निर्भरता वाले मॉडल्स के लिए इनफरेंस लेटेन्सी में महत्वपूर्ण सुधार होता है।