تُطلق نسخة llama.cpp b10956 خوارزمية اختيار الجذر (radix select) للخلفية SYCL للتعامل مع قيم k الكبيرة في عملية TOP_K، والتي كانت سابقاً تعتمد على المعالج المركزي عندما تكون k > 32. يسمح هذا التغيير بمعالجة القيم الكبيرة لـ k مقيّمة على وحدة معالجة الرسومات باستخدام عمليات قائمة على المخطط التكراري (histogram-based passes) تحافظ على استقلالية حجم الذاكرة المحلية المشتركة عن قيمة k.

  • تدعم التنفيذ الجديد قيم k حتى 2048 وما بعدها، مما يلغي الحاجة إلى الذهاب والعودة للخلفية في عمليات مثل مُعرّف الانتباه المتناثر (sparse-attention indexer) الخاص بـ qwen4exp.
  • تشمل تحسينات الأداء تسارعاً بمقدار 4.98x عند ne=[131072,1] وk=2048، وسرعة تنفيذ تصل إلى 118x أسرع في تكوينات دفعات محددة مقارنة بالاعتماد على المعالج المركزي.
  • أظهرت الاختبارات الشاملة على 3 وحدات Arc Pro B60 مع Qwen3.8-Flash-Next زيادة في الإنتاجية من 5.91 إلى 6.05 t/s عند d=131072، مع بقاء التشتت (perplexity) دون تغيير.
  • تتضمن النسخة ملفات قابلة للتنفيذ لأنظمة macOS وLinux وWindows وAndroid وopenEuler عبر خلفيات CPU وCUDA وROCm وVulkan وOpenVINO وSYCL.

تمكّن هذه التحديث من عمليات top_k للقيم الكبيرة بكفاءة على أجهزة SYCL، مما يمنع اختناقات الأداء في النماذج التي تتطلب قيم k عالية لاختيار الرموز.