github llama.cpp · منذ 1 ساعة · inference

llama.cpp b11377 يحترم json_schema في مُفسّر Ling 3.0

مُترجم من English → العربية

أصدر مشروع llama.cpp الإصدار b11377، الذي يُحدّث مُفسّر محادثات Ling 3.0 للتعامل بشكل صحيح مع قيود `json_schema`.

في السابق، كان بنية Ling 3.0 تدعم فقط استدعاءات الأدوات وتترك طلبات `response_format` غير مقيدة. يضيف هذا الإصدار مسار بنية استجابة سريع الأخذ يأخذ الأولوية على الأدوات.

يتطلب التحديث كتلة `<think>` قبل إخراج JSON عند تفعيل التفكير، ويمنع النص التوضيحي المتبقي بعد استجابة JSON، مما يُصلح المشكلة #29652.

يشمل هذا الإصدار ثنائيات لأنظمة macOS (Apple Silicon وIntel)، وiOS، وLinux (CPU، Vulkan، CUDA، ROCm، OpenVINO، SYCL، Snapdragon)، وAndroid، وWindows (CPU، OpenCL، CUDA، Vulkan، OpenVINO، SYCL، ROCm)، وopenEuler.

الأهمية 1/3 الموثوقية 1/3 llama.cpp Inference efficiency

قراءة الأصل

يصلح llama.cpp b11375 عمليات الإنهاء القسري لإعادة تخصيص الرسم البياني تحت GGML_SCHED_NO_REALLOC

أصدر مشروع llama.cpp الإصدار b11375، الذي يعالج مشكلة حرجة حيث كانت خلايا ubatch غير المتصلة تجبر إعادة تخصيص الرسوم البيانية التي تؤدي إلى الإنهاء عند تعيين العلم GGML_SCHED_NO_REALLOC.

github llama.cpp · منذ 3 ساعة · مشاهدة واحدة

تحديثات ggml-openvino إلى الإصدار 2026.4.1 مع دمج MoE وإصلاحات سرد الأجهزة

تم تحديث الخلفية ggml-openvino لـ llama.cpp إلى الإصدار 2026.4.1، مما يقدم تحسينات في الأداء، ودعمًا موسعًا للمشغلات، وتحسينًا في تعداد الأجهزة.

github llama.cpp · منذ 4 ساعة · مشاهدة واحدة

إصدار llama.cpp b11372 يقلل ذاكرة فهرسة qwen4exp إلى النصف ويضيف دعم CUDA لـ 4 رؤوس

يُطلق إصدار llama.cpp b11372 تحسينات لفهرس البرق الخاص بنموذج qwen4exp، وذلك بشكل أساسي عن طريق تقليل الذاكرة المطلوبة لدرجات الفهرسة أثناء معالجة السياقات الطويلة إلى النصف. يتحقق ذلك من خلال حساب درجات الرؤوس في مكانها بدلاً من إنشاء موترات منفصلة لكل رأس.

github llama.cpp · منذ 10 ساعة · مشاهدتان

llama.cpp b11370 يدمج الخبراء المشتركين في MMVQ

أصدر مشروع llama.cpp الإصدار b11370، الذي يتضمن تحسينًا لـ CUDA لدمج الخبراء المشتركين في بنية Mixture of Moe مع التكميم المتجهي (MMVQ). يعد هذا التغيير جزءًا من طلب السحب #29184 ويتعامل أيضًا مع فحوصات الخانة الفارغة للمخازن المؤقتة ومعالجة الحجج لـ stride_col_dst.

github llama.cpp · منذ 13 ساعة · مشاهدتان

llama.cpp b11368 يضيف العينة الاحتمالية للمسودة البسيطة و MTP

أصدر مشروع llama.cpp الإصدار b11368، الذي يقدم العينة الاحتمالية لعمليات عمل المسودة البسيطة و MTP (Multi-Token Prediction). يعدل هذا التحديث آلية المسودة لاستخدام الاختيار الاحتمالي مع التحقق من الأهداف عبر عينة الرفض.