github llama.cpp · الآن · inference

يسمح llama.cpp b10930 بتنزيل النماذج عند حد النموذج

مُترجم من English → العربية

أصدر مشروع llama.cpp الإصدار b10930، والذي يتضمن إصلاحًا لمكون الخادم للسماح بتنزيل النماذج حتى عندما يكون المستخدم قد وصل إلى حد نماذه.

يحل المشكلة #26809 بتمكين التنزيلات عند الحد (PR #28530).
يوفر ملفات ثنائية لأنظمة macOS Apple Silicon وIntel، وiOS، وUbuntu x64/arm64/s390x، وAndroid arm64، وWindows x64/arm64، وopenEuler.
يدعم أطر عمل عتادية متنوعة بما في ذلك CPU، وVulkan، وROCm 10.0، وOpenVINO، وSYCL FP32/FP16، وCUDA 12/13، وOpenCL Adreno.

يضمن هذا التحديث استمرارية الوظائف للمستخدمين الذين يصلون إلى حصص التخزين مع توفير دعم واسع للمنصات.

الأهمية 1/3 الموثوقية 1/3 llama.cpp Inference efficiency Local inference

قراءة الأصل

إصدار llama.cpp b10926 يتعامل بسلاسة مع الكميات tq1_0 غير المدعومة

أطلق مشروع llama.cpp الإصدار b10926، الذي يتضمن إصلاحًا للتعامل مع كميات tq1_0 غير المدعومة عن طريق الفشل بشكل سلس. يعالج هذا التحديث المشكلة #28681 لتحسين الاستقرار عند مواجهة تنسيق الكميات هذا.

github llama.cpp · منذ 3 ساعة · مشاهدة واحدة

يقوم llama.cpp b10921 بمحاذاة روابط موتر WebGPU حسب حجم الكتلة

أصدر مشروع llama.cpp الإصدار b10921، والذي يتضمن إصلاحًا لـ WebGPU من خلال محاذاة روابط الموترات مع حجم كتلة النوع. يضمن هذا التغيير أن المشاهدات الكمية للكتل تتلقى إزاحة عنصر صالحة في الشيدر عن طريق الرجوع إلى الوراء عبر إزاحة الرابط حتى تصبح المسافة إلى الموتر عددًا صحيحًا من الكتل.

github llama.cpp · منذ 1 يوم · مشاهدة واحدة

إصدار llama.cpp b10926 يتعامل بسلاسة مع الكميات tq1_0 غير المدعومة

يقوم llama.cpp b10921 بمحاذاة روابط موتر WebGPU حسب حجم الكتلة

llama.cpp b10906 يصلح التخمين بعد صورة في الخادم

إضافة llama.cpp b10899 تحسينات Vulkan لـ Qwen ودعم split_k

إصلاح llama.cpp b10896 لفشل فك ترميز DFlash مع نماذج الرؤية