llama.cpp प्रोजेक्ट ने बिल्ड b10322 जारी किया, जिसमें SYCL बैकएंड में SSM_CONV विंडो लोड्स को coalesce करने वाला एक प्रदर्शन अनुकूलन शामिल है।

  • Arc Pro B70 पर, interleave किए गए A/B टेस्ट ने विशिष्ट टेंसर आकारों के लिए 1.85x से 1.87x तक गति वृद्धि दिखाई, जबकि n_t=1 के लिए नगण्य परिवर्तन हुआ।
  • Qwen35 27B Q4_K - Medium मॉडल्स पर बेंचमार्क, जो 64 ब्लॉकों में से 48 में ssm_conv चला रहे थे, ने प्रॉम्प्ट प्रोसेसिंग समय में +2.2% सुधार इंगित किया।
  • रिलीज में macOS (Apple Silicon और Intel), iOS, Linux (CPU, Vulkan, ROCm, OpenVINO, SYCL), Android, Windows (CPU, CUDA, Vulkan, OpenVINO, SYCL, HIP), और openEuler के लिए बाइनरी प्रदान करता है।

यह अपडेट संगत हार्डवेयर पर SSM_CONV ऑपरेशन का उपयोग करने वाले वर्कलोड्स के लिए इनफरेंस थ्रूपुट को बेहतर बनाता है।