github llama.cpp · منذ 1 ساعة · inference

يضيف llama.cpp b10213 دعمًا لتكميم ذاكرة التخزين المؤقت kv الدوارة

مُترجم من English → العربية

أصدر مشروع llama.cpp الإصدار b10213، مقدمًا دعمًا لتكميم ذاكرة التخزين المؤقت للمفتاح والقيمة الدوارة. هذا التحديث متاح عبر مجموعة واسعة من المنصات ومسرعات الأجهزة.

macOS Apple Silicon (arm64) و Intel (x64)
iOS عبر XCFramework
Linux Ubuntu x64 و arm64 (CPU, Vulkan, ROCm 7.2, OpenVINO, SYCL FP32/FP16)
Windows x64 و arm64 (CPU, OpenCL Adreno, CUDA 12/13, Vulkan, OpenVINO, SYCL, HIP)
Android arm64 (CPU)
openEuler x86 و aarch64 (ACL Graph)

يتضمن الإصدار ملفات ثنائية للتطبيق الرئيسي بالإضافة إلى حزمة واجهة مستخدم منفصلة.

الأهمية 1/3 الموثوقية 1/3 llama.cpp Inference efficiency Local inference

قراءة الأصل

يقوم llama.cpp b10212 بتحميل موترات MTP فقط عند الاستخدام

أصدر مشروع llama.cpp الإصدار b10212، والذي يتضمن تغييرًا لتحميل موترات Multi-Token Prediction (MTP) فقط إذا كانت مستخدمة فعليًا. يضمن هذا التحديث تخطي تحميل موترات MTP أثناء التحليل للنماذج المتبقية التي تدعم الميزة ولكن لا تحتاج إليها.

github llama.cpp · منذ 3 ساعة

يقوم llama.cpp b10210 بتصحيح الرموز المقبولة أثناء إعادة تشغيل رموز المسودة

أطلق مشروع llama.cpp الإصدار b10210، والذي يتضمن تصحيحًا لمنطق الخادم للتعامل مع الرموز المقبولة عند الحاجة إلى إعادة تشغيل رموز المسودة.

github llama.cpp · منذ 4 ساعة

يضيف llama.cpp b10208 دعم oneMKL GEMM flash attention لمعالجة الطلبات بتسريع XMX

تُطلق إصدار llama.cpp b10208 دعم SYCL لـ oneMKL GEMM flash attention، مما يتيح تسريع العتاد XMX لمعالجة الطلبات. يحسّن هذا التغيير سرعة الاستدلال بشكل كبير على بطاقات Intel Arc الرسومية باستخدام نوى MKL بدلاً من المسار الافتراضي TILE.

github llama.cpp · منذ 6 ساعة

يضيف llama.cpp b10207 دعم SYCL للأنواع المفقودة في cpy

أصدر مشروع llama.cpp الإصدار b10207، الذي يتضمن طلب سحب لإضافة دعم SYCL لأنواع البيانات التي لم تكن مدعومة سابقًا في عملية cpy.

github llama.cpp · منذ 7 ساعة

llama.cpp b10206 يفرض نفس أنواع ذاكرة التخزين المؤقت K و V لنماذج DeepSeek V4 و MLA

أطلق مشروع llama.cpp الإصدار b10206، الذي يقدم تغييرات محددة في كيفية معالجة ذاكرتي التخزين المؤقت للقيم والمفاتيح في آليات الانتباه. يضمن التحديث بقاء أنواع ذاكرة التخزين المؤقت K و V متسقة لنماذج DeepSeek V4.