github llama.cpp · منذ 2 ساعة · inference

llama.cpp b10568 يستخدم ggml_rope_set_offset() لـ DeepSeek 2

مُترجم من English → العربية

أصدر مشروع llama.cpp الإصدار b10568، الذي يحدث معالجة النماذج لاستخدام الدالة `ggml_rope_set_offset()`. يُطبق هذا التغيير جزئيًا لدعم DeepSeek 2.

يتضمن الإصدار ملفات ثنائية لنظام macOS (Apple Silicon و Intel) و Linux (Ubuntu x64 و arm64 و s390x) و Windows و Android و openEuler.
تشمل الخلفيات المدعومة CPU و Vulkan و ROCm 7.14 و OpenVINO و SYCL و CUDA 12/13 و OpenCL Adreno.
تم تعطيل macOS Apple Silicon مع KleidiAI و Ubuntu x64 مع ROCm 7.14 حاليًا في هذا الإصدار.

الأهمية 1/3 الموثوقية 1/3 llama.cpp Hugging Face Inference efficiency Local inference

قراءة الأصل

يضيف llama.cpp b10541 وسيط --mmproj-device للمشاريع متعددة الوسائط

أصدر مشروع llama.cpp الإصدار b10541، مقدمًا وسيط سطر الأوامر `--mmproj-device` للسماح للمستخدمين بتحديد الخلفية (backend) للجهاز لتحميل ملفات الإسقاط متعدد الوسائط.

github llama.cpp · منذ 1 يوم · مشاهدة واحدة

llama.cpp b10532 يضيف فك تكميم ذاكرة الوصول العشوائي لـ Metal لتسريع الانتباه السريع

أصدر مشروع llama.cpp الإصدار b10532، مقدماً مرحلة معالجة مسبقة على الخلفية البرمجية لـ Metal تقوم بفك تكميم مخازن الذاكرة الرئيسية والقيمة (KV) المكمّمة إلى صيغة F16 قبل تنفيذ خوارزمية الانتباه السريع.

github llama.cpp · منذ 1 يوم · مشاهدتان

إضافة llama.cpp b10517 لتحسينات فك التكميم FA لـ Vulkan وإصلاحات

أصدر مشروع llama.cpp الإصدار b10517، مقدمًا عدة تحسينات خاصة بـ Vulkan في مسار فك تكميم الانتباه الفلاشي (FA). تشمل التغييرات الرئيسية فك تكميم q8_0 KV مرة واحدة في coopmat1، وتخطي مسار فك تكميم FA على coopmat2، واستبعاد Intel Xe1 من مسار فك تكميم FA.

github llama.cpp · منذ 21 يوم · 38 مشاهدة

يضيف llama.cpp b10208 دعم oneMKL GEMM flash attention لمعالجة الطلبات بتسريع XMX

تُطلق إصدار llama.cpp b10208 دعم SYCL لـ oneMKL GEMM flash attention، مما يتيح تسريع العتاد XMX لمعالجة الطلبات. يحسّن هذا التغيير سرعة الاستدلال بشكل كبير على بطاقات Intel Arc الرسومية باستخدام نوى MKL بدلاً من المسار الافتراضي TILE.

github llama.cpp · منذ 30 يوم · 26 مشاهدة

يضيف llama.cpp b10089 دعمًا كاملاً لـ k-quant و i-quant إلى CUDA GET_ROWS

يوسع إصدار llama.cpp b10089 عمليات CUDA GET_ROWS لدعم تنسيقات الكمية k-quants و i-quants و mxfp4. يضمن هذا التغيير أن جميع أنواع GGML المكمّاة يمكنها الآن استخدام المسار المباشر للجهاز لعمليات البحث عن التضمين.