github llama.cpp · منذ 1 ساعة · inference

يضيف llama.cpp b10238 دعم MTP لـ Qwen3-Next

مُترجم من English → العربية

أصدر مشروع llama.cpp الإصدار b10238، الذي يقدم دعم التنبؤ متعدد الرموز (MTP) لعائلة نماذج Qwen3-Next. يتضمن هذا التحديث تغييرات تنفيذية محددة للتعامل مع طبقات MTP وإصلاحات تتعلق بفحص الأنواع في بايثون داخل قاعدة الشفرة.

تمت إضافة دعم MTP لنماذج Qwen3-Next في src/models/qwen3next.cpp.
تم إصلاح حساب num_mtp مباشرة من طبقات MTP وتعريف opt_num_mtp_layers في _QwenMtpMixin.
تم حل مشكلات فحص الأنواع في بايثون وتحديث gguf-py/gguf/constants.py.
تم توفير ملفات ثنائية لأنظمة macOS (Apple Silicon/Intel)، وLinux (CPU، Vulkan، ROCm، OpenVINO، SYCL)، وAndroid، وWindows (CPU، CUDA 12/13، Vulkan، OpenCL، OpenVINO، SYCL، HIP)، وopenEuler.

يتيح هذا الإصدار للمستخدمين تشغيل نماذج Qwen3-Next بقدرات MTP على مجموعة واسعة من بنية الأجهزة وأنظمة التشغيل.

الأهمية 1/3 الموثوقية 1/3 llama.cpp Inference efficiency Local inference

قراءة الأصل

مقالات ذات صلة

github llama.cpp · منذ 2 ساعة · مشاهدة واحدة

إضافة llama.cpp b10237 دعم MTP لـ DeepSeek V3.2

أصدر مشروع llama.cpp الإصدار b10237، الذي يقدم دعم التنبؤ متعدد الرموز (MTP) لنموذج DeepSeek V3.2.

github llama.cpp · منذ 14 ساعة · 7 مشاهدات

llama.cpp b10232 يطبق اتصالات DeepSeek V4 الفائقة في Metal

أصدر مشروع llama.cpp الإصدار b10232، الذي يقدم دعمًا لروابط DeepSeek V4 الفائقة عبر الخلفية المعدنية. يضيف هذا التحديث تنفيذ العمليات GGML_OP_DSV4_HC_COMB و GGML_OP_DSV4_HC_PRE و GGML_OP_DSV4_HC_POST.

github llama.cpp · منذ 2 يوم · 9 مشاهدات

llama.cpp b10219 يحافظ على reasoning_content في سجل الدردشة

أصدر مشروع llama.cpp الإصدار b10219، والذي يتضمن إصلاحًا لواجهة سطر الأوامر (CLI) للحفاظ على محتوى الاستدلال داخل سجل الدردشة. سابقًا، بينما كان `llama-cli` يجمع الاستدلال من التدفق للعرض، كان يخزن فقط محتوى المساعد في الرسائل، مما منع العلم `--reasoning-preserve` من إعادة حقن الأفكار السابقة في الأدوار اللاحقة.

github llama.cpp · منذ 3 يوم · 8 مشاهدات

يضيف llama.cpp b10213 دعمًا لتكميم ذاكرة التخزين المؤقت kv الدوارة

أصدر مشروع llama.cpp الإصدار b10213، مقدمًا دعمًا لتكميم ذاكرة التخزين المؤقت للمفتاح والقيمة الدوارة. هذا التحديث متاح عبر مجموعة واسعة من المنصات ومسرعات الأجهزة.

github llama.cpp · منذ 3 يوم · 3 مشاهدات

يقوم llama.cpp b10212 بتحميل موترات MTP فقط عند الاستخدام

أصدر مشروع llama.cpp الإصدار b10212، والذي يتضمن تغييرًا لتحميل موترات Multi-Token Prediction (MTP) فقط إذا كانت مستخدمة فعليًا. يضمن هذا التحديث تخطي تحميل موترات MTP أثناء التحليل للنماذج المتبقية التي تدعم الميزة ولكن لا تحتاج إليها.