github llama.cpp · منذ 1 ساعة · inference

llama.cpp b10519 يعيد هيكلة معالجة النوم للسماح بالوصول إلى المقاييس

مُترجم من English → العربية

أصدر مشروع llama.cpp الإصدار b10519، والذي يتضمن إعادة هيكلة كبيرة لآلية معالجة النوم في الخادم. يسمح هذا التغيير ببقاء نقطة النهاية /metrics متاحة بينما يكون الخادم في حالة سكون.

إعادة هيكلة منطق on_sleeping_state وفصل مهام/نتائج المقاييس والخانات.
إضافة استجابات مخزنة مؤقتًا وإصلاح حالة سباق في مؤقت مهمة المقاييس.
إصلاح get_res_model_info وتحديث التوثيق.
توفير ثنائيات لأنظمة macOS (Apple Silicon/Intel)، وLinux (CPU، Vulkan، OpenVINO، SYCL)، وWindows (CPU، CUDA 12/13، Vulkan، ROCm)، وAndroid، وopenEuler.

الأهمية 1/3 الموثوقية 1/3 llama.cpp Inference efficiency Local inference

قراءة الأصل

إضافة llama.cpp b10517 لتحسينات فك التكميم FA لـ Vulkan وإصلاحات

أصدر مشروع llama.cpp الإصدار b10517، مقدمًا عدة تحسينات خاصة بـ Vulkan في مسار فك تكميم الانتباه الفلاشي (FA). تشمل التغييرات الرئيسية فك تكميم q8_0 KV مرة واحدة في coopmat1، وتخطي مسار فك تكميم FA على coopmat2، واستبعاد Intel Xe1 من مسار فك تكميم FA.

media r/LocalLLaMA · منذ 9 ساعة · مشاهدتان

نموذج MoE G9v3-39A5B يظهر نتائج قوية على artificialanalysis

يجذب نموذج G9v3-39A5B الانتباه لأدائه على artificialanalysis، حيث يُذكر أنه يتصدر تصنيف Qwen 3.6 27B.

media Hugging Face Forums · منذ 9 ساعة · مشاهدة واحدة

تتيح خط أنابيب Celestium تشغيل SDXL على وحدات معالجة الرسومات بسعة 4GB-8GB عبر الدقة التكيفية FP16 والعودة إلى وحدة المعالجة المركزية

يُظهر تشخيص باستخدام خط أنابيب الاستدعاء المحايد للأجهزة من Celestium أن Stable Diffusion XL يمكنه العمل بشكل مستقر على وحدات معالجة الرسومات ذات الذاكرة المنخفضة (4GB، 6GB، و8GB) من خلال الاستفادة من الدقة التكيفية FP16 وتنظيف الذاكرة المستقل. تمنع هذه الطريقة ارتفاعات التجزئة أثناء خطوط الأنابيب متعددة المراحل وتستخدم وضع الطوارئ لوحدة المعالجة المركزية للحفاظ على التوليد عند استنفاد ذاكرة وحدة معالجة الرسومات.

github llama.cpp · منذ 19 ساعة · مشاهدة واحدة

إضافة خيار preset المسمى dedup-cache-models في llama.cpp b10505

أصدر مشروع llama.cpp الإصدار b10505، الذي يقدم خيار preset جديدًا `dedup-cache-models` لمكون الخادم.

media Hugging Face Forums · منذ 2 يوم · 3 مشاهدات

تكميم سعة ذاكرة التخزين المؤقت لمتجهات K و V بناءً على الطيف التوافقي يضاعف طول السياق بنفس الذاكرة

يُظهر ntrillard أن تكميم طيف السعة (magnitude) للقيم في ذاكرة التخزين المؤقت لـ K و V إلى 4 بت مع الحفاظ على الطور بدقة كاملة يحقق تطابقاً بنسبة 96.9% للرموز مقارنةً بالإشارة المرجعية fp16 على نموذج Gemma-3-1B، مما يمثل تحسناً بنسبة 5-10 أضعاف مقارنة بالتكميم القياسي بأقصى وأدنى قيمة.