github llama.cpp · منذ 3 يوم · inference

llama.cpp b10842 يضيف دعم HIP لـ gfx90c

مُترجم من English → العربية

أصدر مشروع llama.cpp الإصدار b10842، الذي يقدم دعمًا لهندسة gfx90c عبر HIP.

ggml يضيف دعم HIP لـ gfx90c ويضمن الامتثال للمواصفات.
الملفات الثنائية متوفرة لنظام macOS (Apple Silicon و Intel)، و Linux (CPU، Vulkan، ROCm 10.0، OpenVINO، SYCL)، و Windows (CPU، CUDA 12/13، Vulkan، OpenVINO، SYCL، ROCm 10.0)، و Android، و openEuler.
يتضمن الإصدار أيضًا حزمة واجهة مستخدم محدثة.

الأهمية 1/3 الموثوقية 1/3 llama.cpp Inference efficiency Local inference

llama.cpp يعطل تحميل الموترات المتأخر افتراضياً على وحدات معالجة الرسومات المتكاملة

قام مشروع llama.cpp بتعطيل تحميل الموترات المتأخر افتراضياً لوحدة معالجة الرسومات المتكاملة (iGPU) في الإصدار b10867. يعالج هذا التغيير تراجعاً تم إدخاله في إعداد وضع "AUTO" السابق.

github llama.cpp · منذ 2 يوم · 3 مشاهدات

إصلاح llama.cpp b10864 لإخلاء نقاط التفتيش للنماذج الهجينة

أصدر مشروع llama.cpp الإصدار b10864، والذي يتضمن إصلاحًا لمنطق إخلاء مسافات نقاط التفتيش في `create_checkpoint()`. سابقًا، كانت قاعدة الإخلاء تحتفظ بأقدم نقطة تفتيش وتمسح النقاط اللاحقة ضمن `checkpoint_min_step`، مما أدى إلى فقدان النصوص القصيرة عن هذا العتبة لنقطة التفتيش اللازمة للاستئناف. أجبر هذا النماذج الهجينة والمتكررة على إعادة التعبئة مسبقًا بشكل غير ضروري من نقطة التفتيش السابقة.

github llama.cpp · منذ 3 يوم · 6 مشاهدات

يضيف llama.cpp b10844 عمليات مدمجة فائقة الاتصال لـ DeepSeek-V4 عبر Vulkan

أصدر مشروع llama.cpp الإصدار b10844، مدعوماً بعمليات مدمجة فائقة الاتصال لـ DeepSeek-V4 (DSV4_HC_COMB/PRE/POST) في الخلفية البرمجية Vulkan. يجلب هذا التحديث Vulkan إلى مستوى مساوٍ لـ CUDA وMetal فيما يتعلق بهذه التحسينات المحددة.

media Hugging Face Forums · منذ 3 يوم · 8 مشاهدات

إطلاق AI Model Radar مع توافق عتادي مقاس للنماذج المفتوحة

يساعد موقع جديد يُدعى AI Model Radar المستخدمين على تحديد النماذج المفتوحة التي تناسب GPU أو Mac الخاص بهم فعليًا باستخدام بيانات مقاسة بدلاً من التقديرات. تحسب المنصة أحجام الأوزان بناءً على ملفات GGUF المنشورة الحقيقية وتحسب ذاكرة التخزين المؤقت للسياق طبقة بطبقة من تكوينات النموذج.

github llama.cpp · منذ 3 يوم · 7 مشاهدات

llama.cpp b10840 يضيف فك الضغط غير المشروط Q4_K/Q5_K والوصول المسبق L2 لـ CUDA

أصدر مشروع llama.cpp الإصدار b10840، الذي يقدم تحسينات للأداء لاستدلال CUDA. يطبق التحديث حسابًا غير مشروط لتنسيقات التكميم Q4_K و Q5_K لتسريع ضرب المصفوفة-المتجه (mmvq).