llama.cpp के CUDA बैकएंड में एक पैच ने मल्टी-टोकन प्रिडिक्शन (MTP) पर pre-Ampere GPU में होने वाले क्रैश को सक्षम क्षमता जांच जोड़कर ठीक किया। अपडेट सुनिश्चित करता है कि BF16 का उपयोग केवल तभी किया जाए जब यह समर्थित हो, Kepler जैसी पुरानी आर्किटेक्चर के लिए FP16 या FP32 पर वापस लौटता है।
- गलत BF16 कंप्यूट चयन के कारण होने वाले cuBLAS क्रैश को ठीक किया।
- एक फॉलबैक चेन लागू की गई: यदि समर्थित हो तो BF16, यदि तेज़ हो तो FP16, अन्यथा FP32।
- Qwen3.6 35B A3B q4xl का उपयोग करके चार Tesla K40c (Kepler) GPU पर परीक्षण किया गया।
- MTP सक्षम करने पर प्रदर्शन ~25 tok/s तक पहुँच गया, जबकि स्टॉक में ~22 tok/s और MTP अक्षम करने पर ~17.5 tok/s था।
यह बदलाव पुरानी कार्ड्स पर MTP डिकोडिंग को सही ढंग से काम करने देता है बिना नए GPU को प्रभावित किए।