github llama.cpp · منذ 3 يوم · inference

يقوم llama.cpp b10835 بإصلاح الحاجز المتشعب في ggml-cuda لـ f16 flash attention

مُترجم من English → العربية

أصدر مشروع llama.cpp الإصدار b10835، والذي يتضمن إصلاحًا لمشكلة الحاجز المتشعب داخل تنفيذ ggml-cuda لـ f16 flash attention. يعالج هذا التحديث أيضًا إعداد مؤشر البيانات الوصفية المكرر في نفس الوحدة.

يصلح الحاجز المتشعب في ggml-cuda لـ f16 flash attention (PR #27870).
يمنع إعداد مؤشر البيانات الوصفية المكرر في ggml-cuda.

يوفر هذا الإصدار ملفات ثنائية محدثة لأنظمة macOS و Linux و Windows و Android و openEuler عبر خلفيات معالجة مختلفة بما في ذلك CUDA و Vulkan و ROCm و SYCL.

الأهمية 1/3 الموثوقية 1/3 llama.cpp Inference efficiency Local inference

قراءة الأصل

llama.cpp يعطل تحميل الموترات المتأخر افتراضياً على وحدات معالجة الرسومات المتكاملة

قام مشروع llama.cpp بتعطيل تحميل الموترات المتأخر افتراضياً لوحدة معالجة الرسومات المتكاملة (iGPU) في الإصدار b10867. يعالج هذا التغيير تراجعاً تم إدخاله في إعداد وضع "AUTO" السابق.

github llama.cpp · منذ 2 يوم · 3 مشاهدات

إصلاح llama.cpp b10864 لإخلاء نقاط التفتيش للنماذج الهجينة

أصدر مشروع llama.cpp الإصدار b10864، والذي يتضمن إصلاحًا لمنطق إخلاء مسافات نقاط التفتيش في `create_checkpoint()`. سابقًا، كانت قاعدة الإخلاء تحتفظ بأقدم نقطة تفتيش وتمسح النقاط اللاحقة ضمن `checkpoint_min_step`، مما أدى إلى فقدان النصوص القصيرة عن هذا العتبة لنقطة التفتيش اللازمة للاستئناف. أجبر هذا النماذج الهجينة والمتكررة على إعادة التعبئة مسبقًا بشكل غير ضروري من نقطة التفتيش السابقة.

github llama.cpp · منذ 3 يوم · 6 مشاهدات

يضيف llama.cpp b10844 عمليات مدمجة فائقة الاتصال لـ DeepSeek-V4 عبر Vulkan

أصدر مشروع llama.cpp الإصدار b10844، مدعوماً بعمليات مدمجة فائقة الاتصال لـ DeepSeek-V4 (DSV4_HC_COMB/PRE/POST) في الخلفية البرمجية Vulkan. يجلب هذا التحديث Vulkan إلى مستوى مساوٍ لـ CUDA وMetal فيما يتعلق بهذه التحسينات المحددة.

github llama.cpp · منذ 3 يوم · 4 مشاهدات

llama.cpp b10842 يضيف دعم HIP لـ gfx90c

أصدر مشروع llama.cpp الإصدار b10842، الذي يقدم دعمًا لهندسة gfx90c عبر HIP.

media Hugging Face Forums · منذ 3 يوم · 8 مشاهدات

إطلاق AI Model Radar مع توافق عتادي مقاس للنماذج المفتوحة

يساعد موقع جديد يُدعى AI Model Radar المستخدمين على تحديد النماذج المفتوحة التي تناسب GPU أو Mac الخاص بهم فعليًا باستخدام بيانات مقاسة بدلاً من التقديرات. تحسب المنصة أحجام الأوزان بناءً على ملفات GGUF المنشورة الحقيقية وتحسب ذاكرة التخزين المؤقت للسياق طبقة بطبقة من تكوينات النموذج.