media r/LocalLLaMA · منذ 1 ساعة · open_models

نموذج MoE G9v3-39A5B يظهر نتائج قوية على artificialanalysis

مُترجم من English → العربية

يجذب نموذج G9v3-39A5B الانتباه لأدائه على artificialanalysis، حيث يُذكر أنه يتصدر تصنيف Qwen 3.6 27B.

إنه بنية Mixture of Experts (MoE).
يوجد فرع ميزات لـ llama.cpp لدعم تنسيق G9v3.
نقاط التفتيش GGUF متاحة عبر Hugging Face.

الأهمية 2/3 r/LocalLLaMA Inference efficiency Local inference

تتيح خط أنابيب Celestium تشغيل SDXL على وحدات معالجة الرسومات بسعة 4GB-8GB عبر الدقة التكيفية FP16 والعودة إلى وحدة المعالجة المركزية

يُظهر تشخيص باستخدام خط أنابيب الاستدعاء المحايد للأجهزة من Celestium أن Stable Diffusion XL يمكنه العمل بشكل مستقر على وحدات معالجة الرسومات ذات الذاكرة المنخفضة (4GB، 6GB، و8GB) من خلال الاستفادة من الدقة التكيفية FP16 وتنظيف الذاكرة المستقل. تمنع هذه الطريقة ارتفاعات التجزئة أثناء خطوط الأنابيب متعددة المراحل وتستخدم وضع الطوارئ لوحدة المعالجة المركزية للحفاظ على التوليد عند استنفاد ذاكرة وحدة معالجة الرسومات.

github llama.cpp · منذ 11 ساعة · مشاهدة واحدة

إضافة خيار preset المسمى dedup-cache-models في llama.cpp b10505

أصدر مشروع llama.cpp الإصدار b10505، الذي يقدم خيار preset جديدًا `dedup-cache-models` لمكون الخادم.

media Hugging Face Forums · منذ 2 يوم · 3 مشاهدات

تكميم سعة ذاكرة التخزين المؤقت لمتجهات K و V بناءً على الطيف التوافقي يضاعف طول السياق بنفس الذاكرة

يُظهر ntrillard أن تكميم طيف السعة (magnitude) للقيم في ذاكرة التخزين المؤقت لـ K و V إلى 4 بت مع الحفاظ على الطور بدقة كاملة يحقق تطابقاً بنسبة 96.9% للرموز مقارنةً بالإشارة المرجعية fp16 على نموذج Gemma-3-1B، مما يمثل تحسناً بنسبة 5-10 أضعاف مقارنة بالتكميم القياسي بأقصى وأدنى قيمة.

github llama.cpp · منذ 5 يوم · 26 مشاهدة

يضيف llama.cpp دعم نموذج Kimi-K3 مع إعادة تعبئة MXFP4 وقالب محادثة

أضاف مشروع llama.cpp الدعم لنموذج النصوص Kimi-K3، بتنفيذ بنية الانتباه الهجينة الخاصة به (KDA الخطي + MLA الكامل) إلى جانب خمسة ميزات معمارية محددة غير موجودة في النسخة الأقدم Kimi-Linear-48B.

github llama.cpp · منذ 5 يوم · 21 مشاهدة

إعادة تصميم llama.cpp b10447 لنموذج الخيوط yield_to_queue

أصدر مشروع llama.cpp الإصدار b10447، والذي يتضمن إعادة تصميم لنموذج الخيوط `yield_to_queue`. تتضمن هذه التغييرات تشغيل `common_speculative_process` في العامل وتبديل تصميم الخيط العامل إلى الرئيسي.