github llama.cpp · منذ 1 ساعة · inference

llama.cpp b10603 يضيف دعم MTP لـ GLM-4.5-Air

مُترجم من English → العربية

أصدر مشروع llama.cpp الإصدار b10603، الذي يقدم دعم التنبؤ متعدد الرموز (MTP) لنموذج GLM-4.5-Air.

يضيف قدرة MTP لـ GLM-4.5-Air عبر طلب السحب #26534.
يوفر ملفات قابلة للتنفيذ لأنظمة macOS (Apple Silicon و Intel)، و iOS، و Linux (CPU، Vulkan، ROCm، OpenVINO، SYCL)، و Android، و Windows (CPU، CUDA 12/13، Vulkan، OpenCL، OpenVINO، SYCL، ROCm)، و openEuler.

يتيح هذا الإصدار للمستخدمين تشغيل GLM-4.5-Air مع MTP على مجموعة واسعة من بنية الأجهزة.

الأهمية 1/3 الموثوقية 1/3 llama.cpp Hugging Face Inference efficiency

تحسين ggml لعملية الإضافة (concat) باستبدال نسخ الذاكرة للعنصر الواحد بنسخ على مستوى الصف

قامت مكتبة ggml بتحسين عملية الإضافة (concat) عن طريق استبدال نسخ الذاكرة لكل عنصر بعمليات memcpy على مستوى الصف. هذا التغيير جزء من إصدار b10578 لـ llama.cpp، والذي يتضمن ثنائيات محددة للمنصات المختلفة وتحديثات في الرسم البياني للحساب الأساسي.

github llama.cpp · منذ 1 يوم · 3 مشاهدات

يضيف llama.cpp b10576 نوى MMVQ المعاد ترتيبها Q2_K ونوى ESIMD لدعم SYCL

أصدر مشروع llama.cpp الإصدار b10576، الذي يعيد إضافة نوى MMVQ المعاد ترتيبها Q2_K ونوى ESIMD لدعم SYCL. يعكس هذا التغيير بشكل فعال التزامًا سابقًا كان قد أزال هذه التطبيقات المحددة للنوى.

github llama.cpp · منذ 2 يوم · مشاهدتان

إصلاح llama.cpp b10577 لـ draft-mtp مع التضمينات

أصدر مشروع llama.cpp الإصدار b10577، والذي يتضمن إصلاحًا لـ draft-mtp عند استخدامه مع التضمينات. يعالج هذا التحديث المشكلتين #26352 و #27299.

github llama.cpp · منذ 2 يوم · 5 مشاهدات

llama.cpp b10568 يستخدم ggml_rope_set_offset() لـ DeepSeek 2

أصدر مشروع llama.cpp الإصدار b10568، الذي يحدث معالجة النماذج لاستخدام الدالة `ggml_rope_set_offset()`. يُطبق هذا التغيير جزئيًا لدعم DeepSeek 2.

github llama.cpp · منذ 2 يوم · 11 مشاهدة

إصدار llama.cpp v0.2.0 مع ggml 0.21.0 ودعم Kleidiai SME2

أطلق مشروع llama.cpp الإصدار 0.2.0، الذي يتضمن مزامنة مع مكتبة ggml التي ارتفعت إلى الإصدار 0.21.0. يقدم هذا التحديث تحسينات متعددة في الخلفيات وميزات جديدة عبر منصات عتاد مختلفة.