github llama.cpp · منذ 1 ساعة · inference

إصلاح llama.cpp b10577 لـ draft-mtp مع التضمينات

مُترجم من English → العربية

أصدر مشروع llama.cpp الإصدار b10577، والذي يتضمن إصلاحًا لـ draft-mtp عند استخدامه مع التضمينات. يعالج هذا التحديث المشكلتين #26352 و #27299.

يصلح توافق draft-mtp مع التضمينات في الوحدة المشتركة.
يوفر ملفات تنفيذية لأنظمة macOS (Apple Silicon و Intel)، و Linux (CPU، Vulkan، OpenVINO، SYCL)، و Windows (CPU، CUDA 12/13، Vulkan، OpenCL، ROCm)، و Android، و openEuler.

يضمن هذا الإصدار أن يعمل draft-mtp بشكل صحيح مع مدخلات التضمين عبر المنصات المدعومة.

الأهمية 1/3 الموثوقية 1/3 llama.cpp Hugging Face Inference efficiency

قراءة الأصل

تحسين ggml لعملية الإضافة (concat) باستبدال نسخ الذاكرة للعنصر الواحد بنسخ على مستوى الصف

قامت مكتبة ggml بتحسين عملية الإضافة (concat) عن طريق استبدال نسخ الذاكرة لكل عنصر بعمليات memcpy على مستوى الصف. هذا التغيير جزء من إصدار b10578 لـ llama.cpp، والذي يتضمن ثنائيات محددة للمنصات المختلفة وتحديثات في الرسم البياني للحساب الأساسي.

github llama.cpp · منذ 1 ساعة · مشاهدة واحدة مباشر

يضيف llama.cpp b10576 نوى MMVQ المعاد ترتيبها Q2_K ونوى ESIMD لدعم SYCL

أصدر مشروع llama.cpp الإصدار b10576، الذي يعيد إضافة نوى MMVQ المعاد ترتيبها Q2_K ونوى ESIMD لدعم SYCL. يعكس هذا التغيير بشكل فعال التزامًا سابقًا كان قد أزال هذه التطبيقات المحددة للنوى.

github llama.cpp · منذ 10 ساعة · مشاهدتان

llama.cpp b10568 يستخدم ggml_rope_set_offset() لـ DeepSeek 2

أصدر مشروع llama.cpp الإصدار b10568، الذي يحدث معالجة النماذج لاستخدام الدالة `ggml_rope_set_offset()`. يُطبق هذا التغيير جزئيًا لدعم DeepSeek 2.

github llama.cpp · منذ 15 ساعة · 6 مشاهدات

إصدار llama.cpp v0.2.0 مع ggml 0.21.0 ودعم Kleidiai SME2

أطلق مشروع llama.cpp الإصدار 0.2.0، الذي يتضمن مزامنة مع مكتبة ggml التي ارتفعت إلى الإصدار 0.21.0. يقدم هذا التحديث تحسينات متعددة في الخلفيات وميزات جديدة عبر منصات عتاد مختلفة.

github llama.cpp · منذ 1 يوم · 4 مشاهدات

يضيف llama.cpp b10541 وسيط --mmproj-device للمشاريع متعددة الوسائط

أصدر مشروع llama.cpp الإصدار b10541، مقدمًا وسيط سطر الأوامر `--mmproj-device` للسماح للمستخدمين بتحديد الخلفية (backend) للجهاز لتحميل ملفات الإسقاط متعدد الوسائط.