أصدر مشروع llama.cpp الإصدار b9948، والذي يتضمن تحسينًا رئيسيًا لمكتبة ggml المخصصة لـ CUDA. يعدّل التحديث `ggml_top_k()` و `ggml_argsort()` لمعالجة البيانات في قطع أصغر، مما يقلل من استخدام ذاكرة المخزن المؤقت المؤقت.
- تم تنفيذ المعالجة المقطعية في كل من تنفيذ top-k و argsort الخاصين بـ CUDA CUB.
- تم تخصيص `tmp_dst` مرة واحدة فقط قبل الحلقة لتحسين الذاكرة بشكل أكبر.
- تم استبدال المشغلات الثلاثية بدوال min/max لوضوح الكود.
- تم إصدار الثنائيات لأنظمة macOS (Apple Silicon و Intel)، و Linux، و Windows، و Android، و openEuler عبر الخلفيات CPU، و CUDA، و Vulkan، و ROCm، و OpenVINO، و SYCL، و HIP.
يوفر هذا الإصدار للمستخدمين نسخًا محدثة لمختلف المنصات مع معالجة كفاءة الذاكرة في عمليات CUDA المحددة.