llama.cpp प्रोजेक्ट ने बिल्ड b9966 जारी की, जो -sm tensor फीचर में एक प्रदर्शन समस्या को हल करती है। अपडेट ने पहले decode थ्रेड पर होने वाले प्रति टेंसर प्रति टोकन 29 regex पुनः संकलनों को हटा दिया।
- कोड पहले हर टोकन के हर टेंसर के लिए 29 regex पैटर्न को शून्य से फिर से बना रहा था।
- फिक्स इन पैटर्न को कैश करता है ताकि वे एक बार बनें और पुनः उपयोग किए जाएं।
- यह बदलाव decode थ्रेड पर बर्बाद हुए CPU चक्रों को कम करता है, व्यवहार को बिना बदले।