llama.cpp प्रोजेक्ट ने बिल्ड b11307 जारी किया, जो परत इनपुट क्रम को ठीक करता है ताकि अनुमानित डिकोडिंग के दौरान मूल बैच अनुक्रम संरक्षित रहे। यह बदलाव सुनिश्चित करता है कि टोकन क्रम अनावृत NextN एम्बेडिंग्स के लिए सही रूप से बनाए रखा जाए और टेन्सर विभाजन के साथ संगत हो।

  • शून्य ऑफसेट से माइक्रोबैच टेन्सर कॉपी करके सिंकनाइजेशन के बाद मूल पंक्ति क्रम को पुनर्स्थापित करता है।
  • परत-इनपुट कैप्चर अक्षम होने पर भी, अनावृत NextN पंक्तियों के लिए मूल-टोकन मैपिंग का उपयोग करता है।
  • WebGPU रिज़र्वेशन और OpenVINO हाइडन-स्टेट कैप्चर समस्याओं को ठीक करता है।
  • 256 CPU/CUDA/टेन्सर कॉन्फ़िगरेशन पर वैलिडेशन किया गया, जहाँ Qwen3.8-27B ने MT-Bench को कंकरेंसी 16 के साथ पूरा किया।

अपडेट परत इनपुट और एम्बेडिंग्स में क्रम की खराबी को रोककर अनुमानित डिकोडिंग वर्कफ़्लो में सहीता सुनिश्चित करता है।