github llama.cpp · منذ 3 يوم · inference

يضيف llama.cpp b10830 العلم --fuse-qkv لتحويل HF إلى GGUF

مُترجم من English → العربية

أصدر مشروع llama.cpp الإصدار b10830، مقدمًا خيار سطر أوامر جديدًا لتحويل النماذج. يضيف هذا التحديث العلم `--fuse-qkv`، والذي يسمح للمستخدمين بدمج مصفوفات Query و Key و Value في بنية QKV واحدة أثناء التحويل من تنسيق Hugging Face إلى GGUF.

تتضمن الإصدارات الثنائية لنظام macOS (Apple Silicon و Intel)، و Linux (Ubuntu مع backends لـ CPU و Vulkan و ROCm و OpenVINO و SYCL)، و Android، و Windows (CPU و CUDA 12/13 و Vulkan و OpenCL و ROCm و OpenVINO و SYCL)، و openEuler.
يتم توفير دعم iOS عبر XCFramework، بينما تم تعطيل دعم KleidiAI على macOS Apple Silicon حاليًا.

يوفر هذا التحديث للمستخدمين مسار تحويل أكثر كفاءة للنماذج التي تستفيد من آليات الانتباه المدمجة.

الأهمية 1/3 الموثوقية 1/3 llama.cpp Inference efficiency Local inference

قراءة الأصل

llama.cpp يعطل تحميل الموترات المتأخر افتراضياً على وحدات معالجة الرسومات المتكاملة

قام مشروع llama.cpp بتعطيل تحميل الموترات المتأخر افتراضياً لوحدة معالجة الرسومات المتكاملة (iGPU) في الإصدار b10867. يعالج هذا التغيير تراجعاً تم إدخاله في إعداد وضع "AUTO" السابق.

github llama.cpp · منذ 2 يوم · 3 مشاهدات

إصلاح llama.cpp b10864 لإخلاء نقاط التفتيش للنماذج الهجينة

أصدر مشروع llama.cpp الإصدار b10864، والذي يتضمن إصلاحًا لمنطق إخلاء مسافات نقاط التفتيش في `create_checkpoint()`. سابقًا، كانت قاعدة الإخلاء تحتفظ بأقدم نقطة تفتيش وتمسح النقاط اللاحقة ضمن `checkpoint_min_step`، مما أدى إلى فقدان النصوص القصيرة عن هذا العتبة لنقطة التفتيش اللازمة للاستئناف. أجبر هذا النماذج الهجينة والمتكررة على إعادة التعبئة مسبقًا بشكل غير ضروري من نقطة التفتيش السابقة.

github llama.cpp · منذ 3 يوم · 6 مشاهدات

يضيف llama.cpp b10844 عمليات مدمجة فائقة الاتصال لـ DeepSeek-V4 عبر Vulkan

أصدر مشروع llama.cpp الإصدار b10844، مدعوماً بعمليات مدمجة فائقة الاتصال لـ DeepSeek-V4 (DSV4_HC_COMB/PRE/POST) في الخلفية البرمجية Vulkan. يجلب هذا التحديث Vulkan إلى مستوى مساوٍ لـ CUDA وMetal فيما يتعلق بهذه التحسينات المحددة.

github llama.cpp · منذ 3 يوم · 4 مشاهدات

llama.cpp b10842 يضيف دعم HIP لـ gfx90c

أصدر مشروع llama.cpp الإصدار b10842، الذي يقدم دعمًا لهندسة gfx90c عبر HIP.

media Hugging Face Forums · منذ 3 يوم · 8 مشاهدات

إطلاق AI Model Radar مع توافق عتادي مقاس للنماذج المفتوحة

يساعد موقع جديد يُدعى AI Model Radar المستخدمين على تحديد النماذج المفتوحة التي تناسب GPU أو Mac الخاص بهم فعليًا باستخدام بيانات مقاسة بدلاً من التقديرات. تحسب المنصة أحجام الأوزان بناءً على ملفات GGUF المنشورة الحقيقية وتحسب ذاكرة التخزين المؤقت للسياق طبقة بطبقة من تكوينات النموذج.