github llama.cpp · الآن · inference

llama.cpp b10906 يصلح التخمين بعد صورة في الخادم

مُترجم من English → العربية

أصدر مشروع llama.cpp الإصدار b10906، الذي يتضمن إصلاحًا لمكون الخادم فيما يتعلق بالتخمين بعد مدخلات الصور. يضمن التغيير تمرير الموقع الفعلي إلى المُعد بدلاً من عدد الرموز، مما يؤثر على جميع المعدّين وليس فقط DFlash.

تم إعادة تسمية معلمة المسودة `n_past` إلى `pos0` لتعكس بدقة دورها كمؤشر موقع بدلاً من كونها عدادًا للرموز.
تم توفير ثنائيات جاهزة لـ macOS (Apple Silicon و Intel)، و iOS، و Linux (CPU، Vulkan، ROCm، OpenVINO، SYCL)، و Android، و Windows (CPU، CUDA، OpenCL، Vulkan، OpenVINO، SYCL، ROCm)، و openEuler.

يصحح هذا التحديث عدم اتساق تسمية المعلمة ويضمن التعامل الصحيح مع الموقع في منطق التخمين للخادم.

الأهمية 1/3 الموثوقية 1/3 llama.cpp Inference efficiency Local inference

قراءة الأصل

إضافة llama.cpp b10899 تحسينات Vulkan لـ Qwen ودعم split_k

أصدر مشروع llama.cpp الإصدار b10899، مقدمًا تحسينات أداء محددة في الخلفية الخاصة بـ Vulkan. يركز التحديث على تحسين عمليات المصفوفات لعائلة نماذج Qwen وتعزيز الأداء العام مع قيم M الصغيرة.

github llama.cpp · منذ 19 ساعة · مشاهدة واحدة

إصلاح llama.cpp b10896 لفشل فك ترميز DFlash مع نماذج الرؤية

أصدر مشروع llama.cpp الإصدار b10896، الذي يعالج مشكلة حرجة حيث فشلت ذاكرة المسودة في تخصيص رموز جديدة عند استخدام DFlash مع نماذج الرؤية. حدث هذا الفشل لأن الصور أفادت بإزاحة ثابتة، مما منع التخصيص الصحيح للرموز.

github llama.cpp · منذ 3 يوم · مشاهدتان

llama.cpp يعطل تحميل الموترات المتأخر افتراضياً على وحدات معالجة الرسومات المتكاملة

قام مشروع llama.cpp بتعطيل تحميل الموترات المتأخر افتراضياً لوحدة معالجة الرسومات المتكاملة (iGPU) في الإصدار b10867. يعالج هذا التغيير تراجعاً تم إدخاله في إعداد وضع "AUTO" السابق.

github llama.cpp · منذ 3 يوم · 4 مشاهدات

إصلاح llama.cpp b10864 لإخلاء نقاط التفتيش للنماذج الهجينة

أصدر مشروع llama.cpp الإصدار b10864، والذي يتضمن إصلاحًا لمنطق إخلاء مسافات نقاط التفتيش في `create_checkpoint()`. سابقًا، كانت قاعدة الإخلاء تحتفظ بأقدم نقطة تفتيش وتمسح النقاط اللاحقة ضمن `checkpoint_min_step`، مما أدى إلى فقدان النصوص القصيرة عن هذا العتبة لنقطة التفتيش اللازمة للاستئناف. أجبر هذا النماذج الهجينة والمتكررة على إعادة التعبئة مسبقًا بشكل غير ضروري من نقطة التفتيش السابقة.

github llama.cpp · منذ 4 يوم · 11 مشاهدة

يضيف llama.cpp b10844 عمليات مدمجة فائقة الاتصال لـ DeepSeek-V4 عبر Vulkan

أصدر مشروع llama.cpp الإصدار b10844، مدعوماً بعمليات مدمجة فائقة الاتصال لـ DeepSeek-V4 (DSV4_HC_COMB/PRE/POST) في الخلفية البرمجية Vulkan. يجلب هذا التحديث Vulkan إلى مستوى مساوٍ لـ CUDA وMetal فيما يتعلق بهذه التحسينات المحددة.