llama.cpp प्रोजेक्ट ने बिल्ड b10714 जारी किया, जिसमें AMD Strix Halo हार्डवेयर को लक्षित करने वाले Vulkan बैकएंड के लिए विशिष्ट अनुकूलन शामिल हैं। अपडेट ने बैच्ड इनफरेंस के दौरान प्रदर्शन में सुधार के लिए मैट्रिक्स-वेक्टर गुणन पंक्ति गणनाओं को समायोजित किया।
- Vulkan: चार से अधिक कॉलम वाले RDNA3 आर्किटेक्चर पर mat-vec ऑपरेशन के लिए स्थिर 4 पंक्तियाँ सेट करता है, क्योंकि यह कॉन्फ़िगरेशन डिफ़ॉल्ट की तुलना में बेहतर बेंचमार्क प्रदर्शन दिखाता है।
- Vulkan: Strix Halo मशीनों पर mul_mat_vec_id के लिए स्थिर 4 पंक्ति सेटिंग लागू करता है, जो डिफ़ॉल्ट की तुलना में विभिन्न प्रकार और बैच आकारों में तेज़ साबित होती है।
इन बदलावों ने Strix Halo जैसे RDNA3-आधारित GPU पर llama.cpp चलाते हुए उपयोगकर्ताओं के लिए स्पष्ट प्रदर्शन लाभ प्रदान किए हैं।