llama.cpp प्रोजेक्ट ने बिल्ड b11254 जारी किया है, जिसमें कंप्यूटेशन ग्राफ में इनपुट टेंसरों को कैसे एकत्र किया जाता है, इसके लिए एक सुधार शामिल है। पहले, `graph_inputs` ग्राफ विभाजन के दौरान भरा जाता था, जिससे पाइपलाइन समानांतरता में समस्याएं उत्पन्न होती थीं जहाँ अलग-अलग इनपुट्स का उपयोग करने वाले बैचों के बीच स्विच करने से बेमेल बैकएंड आईडी तुलना और शेड्यूलर को पुनः आरक्षण पर मजबूर करना होता था।

  • इस बदलाव में ग्राफ के सभी इनपुट लीफ्स से विभाजन के बाद इनपुट्स एकत्र किए जाते हैं, यह सुनिश्चित करते हुए कि संरचना केवल इनपुट्स की उपस्थिति पर निर्भर करती है न कि स्रोतों के रूप में किसका उपयोग किया जाता है।
  • यह शेड्यूलर को छोटे इनपुट साइज (उदाहरण के लिए, `n_outputs = 0`) रिकॉर्ड करने और बाद में `GGML_SCHED_DEBUG_REALLOC` के माध्यम से रद्द करने से रोकता है।
  • इस रिलीज़ में macOS (Apple Silicon और Intel), iOS, Linux (CPU, Vulkan, CUDA 12/13, ROCm, OpenVINO, SYCL, Snapdragon), Android, Windows (CPU, OpenCL, CUDA, Vulkan, OpenVINO, SYCL, ROCm), और openEuler के लिए बाइनरी उपलब्ध हैं।

यह सुधार इनपुट क्रम में बदलावों से होने वाले अनावश्यक ग्राफ पुनर्गठन को समाप्त करके पाइपलाइन समानांतरता परिदृश्यों में निष्पादन को स्थिर करता है।