llama.cpp प्रोजेक्ट ने संस्करण b10684 जारी किया, जिसमें SYCL बैकएंड के लिए एक विशिष्ट फिक्स शामिल है ताकि `--fit` फ्लैग `--fit-target` को अधिक सटीकता से सम्मानित करे।

  • `--fit` एल्गोरिदम अब SYCL बैकएंड पर दिए गए कॉन्टेक्स्ट आकार के लिए आवश्यक वास्तविक पीक VRAM का हिसाब रखता है।
  • यह आवंटित कॉन्टेक्स्ट पूरी तरह से उपयोग किए जाने पर VRAM उपयोग को उचित रूप से गणना करके मेमोरी की कमी (out-of-memory) त्रुटियों को रोकता है।
  • यह उन अत्यधिक संरक्षक गणनाओं को भी रोकता है जो पहले बहुत अधिक VRAM आरक्षित करती थीं।
  • unsloth के qwen3.8 (Q4_K_XL) के साथ Arc b70 पर परीक्षण ने `--fit-target 1` का उपयोग करते हुए q8_0 KV और MTP के साथ 262144 कॉन्टेक्स्ट का उपयोग करने योग्य प्रदर्शित किया।

यह बदलाव उपयोगकर्ताओं को SYCL हार्डवेयर पर मेमोरी की कमी के बिना बड़े कॉन्टेक्स्ट का उपयोग करने की अनुमति देता है, जबकि पिछले संरक्षक अनुमानों से आरक्षित VRAM के अपव्यय से भी बचता है।