github llama.cpp · منذ 1 ساعة · inference

llama.cpp b11007 يُمكّن CUDA graph للمسودة الخاصة بـ MTP

مُترجم من English → العربية

أصدر مشروع llama.cpp الإصدار b11007، الذي يُدخل دعمًا لـ CUDA graphs في مسودات Multi-Token Prediction (MTP). يحسّن هذا التحديث كفاءة عملية المسودة من خلال الاستفادة من تنفيذ CUDA graph.

تمكين CUDA graph للمسودة الخاصة بـ MTP لتحسين كفاءة الاستخدام.
توفير ملفات ثنائية لأنظمة macOS (Apple Silicon وIntel)، وiOS، وLinux (CPU، Vulkan، CUDA 12/13، ROCm، OpenVINO، SYCL)، وAndroid، وWindows (CPU، OpenCL، CUDA 12/13، Vulkan، OpenVINO، SYCL، ROCm)، وopenEuler.
تضمين ملفات ثنائية لواجهة المستخدم لجميع المنصات المدعومة.

يتيح هذا الإصدار للمستخدمين الاستفادة من أداء الاستنتاج المُحسّن على وحدات معالجة الرسومات NVIDIA المتوافقة من خلال التنفيذ الجديد لمسودة MTP.

الأهمية 1/3 الموثوقية 1/3 llama.cpp Inference efficiency Local inference

قراءة الأصل

llama.cpp b11006 يضيف دعم Hexagon لـ K-Quants Q4_K و Q6_K

أصدر مشروع llama.cpp الإصدار b11006، مقدمًا دعمًا لمعالجات Qualcomm Hexagon للتعامل مع تنسيقات K-Quantization. يُنفّذ هذا التحديث نوى محددة لمستويات التكميم Q4_K و Q6_K على بنية Hexagon.

github llama.cpp · منذ 1 يوم · 8 مشاهدات

إضافة llama.cpp b10982 دعم الانتباه المتقطع السريع عبر Vulkan لنماذج DSV4/GLM

أصدر مشروع llama.cpp الإصدار b10982، الذي يُدخل دعم الانتباه المتقطع السريع (sparse Flash Attention) عبر الخلفية (backend) الخاصة بـ Vulkan. يستهدف هذا التحديث بشكل خاص نماذج DSV4 وGLM، مما يتيح لها الاستفادة من آليات الانتباه المتوافق مع عتاد وحدات معالجة الرسومات المناسب.

github llama.cpp · منذ 1 يوم · 5 مشاهدات

إصلاح llama.cpp b10981 للفك المشروط لـ Gemma-4 وتحسين استنتاج GPU MoE

يعالج إصدار llama.cpp b10981 مشكلات صحة حرجة في مسار فك التشفير الشرعي للخلفية OpenVINO، ويصحح بشكل خاص دعم النماذج مثل Gemma-4 التي تستخدم أحجام رؤوس لكل طبقة. كما يقدم تحسينات لاستنتاج GPU Mixture of Experts (MoE) ويحسن الأداء من خلال إعادة ترتيب حالات KV.

github llama.cpp · منذ 2 يوم · 12 مشاهدة

إضافة llama.cpp 0.4.1 دعم لـ Maple 20B-A1B و Tencent Hy 4 و Spark2.5

أصدر مشروع llama.cpp الإصدار 0.4.1، مقدّماً دعمًا لهيكلية Mixture of Experts الثلاثية (ternary) الخاصة بـ Maple 20B-A1B على وحدة المعالجة المركزية (CPU)، بالإضافة إلى دعم تجريبي لنماذج Tencent Hy 4 و Spark2.5.

github llama.cpp · منذ 3 يوم · 3 مشاهدات

يقوم llama.cpp b10951 بنقل llama_n_rs_seq قبل llama_decode لتجنب المكالمات غير الضرورية

أصدر مشروع llama.cpp الإصدار b10951، والذي يتضمن تحسينًا في الكود ضمن منطق فك التشفير. يتم الآن تنفيذ استدعاء الدالة `llama_n_rs_seq` قبل `llama_decode`، مما يسمح للنظام بالعودة مباشرة إذا نجح الفحص.