github llama.cpp · منذ 1 ساعة · inference

إصلاح llama.cpp b10247 لانهيارات النماذج ذات التخصيب الكبير (MoE) باستخدام التخصيص الديناميكي

مُترجم من English → العربية

أصدر مشروع llama.cpp الإصدار b10247، الذي يعالج مشكلات الاستقرار عند تحميل نماذج التخصيب الكبير (MoE) الكبيرة في إعدادات متعددة الخلفيات. يستبدل التحديث المصفوفات ذات الحجم الثابت في مخطط الخلفية بمخازن مؤقتة مُخصصة ديناميكيًا للتعامل مع تقسيمات الرسم البياني التي تتجاوز 30 مدخلًا.

استبدال GGML_SCHED_MAX_SPLIT_INPUTS بالتخصيص الديناميكي لمدخلات الرسم البياني المقسمة.
إصلاح الانهيارات عند تحميل نماذج MoE العريضة مثل Gemma 4 و Qwen MoE و Mixtral و DeepSeek.
تحديث حساب graph_size لاستخدام عدد المدخلات الفعلي بدلاً من ثابت ثابت.
توفير ثنائيات لأنظمة macOS (Apple Silicon/Intel) و Linux (CPU/Vulkan/ROCm/OpenVINO/SYCL) و Windows (CPU/CUDA/Vulkan/OpenVINO/SYCL/HIP) و Android و iOS.

يتيح هذا التغيير للمستخدمين تشغيل بنية MoE المعقدة دون مواجهة انهيرات مرتبطة بالمخطط على الأنظمة ذات الأجهزة الخلفية المتعددة.

الأهمية 1/3 الموثوقية 1/3 llama.cpp Inference efficiency

قراءة الأصل

مقالات ذات صلة

github llama.cpp · منذ 2 ساعة

llama.cpp b10246 يوجّه مصفوفات q6_K lm_head الكبيرة إلى GEMV مسطح

أصدر مشروع llama.cpp الإصدار b10246، والذي يتضمن إصلاحًا لأداء OpenCL في تكوينات نماذج محددة. يعالج التحديث مشكلة كانت فيها شرط البعد الأصلي غير كافٍ للتعامل مع الأوزان الكبيرة.

github llama.cpp · منذ 7 ساعة · مشاهدتان

يضيف llama.cpp b10242 عيّان خلفية CUDA للعقوبات

أصدر مشروع llama.cpp الإصدار b10242، مقدّماً عيّان خلفية جديدًا للعقوبات يسمح بتحميل معالجة العقوبات إلى وحدة المعالجة الرسومية. يعزّز هذا التغيير دالة `common_sampler_init` ويحدّث بنية `llama_sampler_penalties` لتورّث من `llama_sampler_backend`، مما يتيح تعديلات التكرار والحضور على الخلفية.

github llama.cpp · منذ 10 ساعة · مشاهدة واحدة

إصلاح llama.cpp b10241 لسباقات البيانات SMEM في block_reduce لـ CUDA

أصدر مشروع llama.cpp الإصدار b10241، الذي يعالج خطأً حرجًا في الخلفية (backend) الخاصة بـ CUDA. يحل التحديث سباقات البيانات التي حدثت عند إعادة استخدام الذاكرة المشتركة (SMEM) أثناء اختزال الكتلة.

media Hugging Face Forums · منذ 13 ساعة · مشاهدة واحدة

Quesma تنشر خريطة منتقاة من 218 أداة وورقة بحثية لكفاءة تكلفة الرموز في LLM

أطلقت Quesma قائمة مفتوحة ومنقحة تحتوي على 218 إدخالًا تتعقب أين تُنفق الرموز في سير عمل LLM والوكلاء. يغطي المورد المراقبة، التخزين المؤقت الدلالي، النماذج المحلية الرخيصة، هندسة السياق، وحكم التكاليف.

github llama.cpp · منذ 16 ساعة

يضيف llama.cpp b10238 دعم MTP لـ Qwen3-Next

أصدر مشروع llama.cpp الإصدار b10238، الذي يقدم دعم التنبؤ متعدد الرموز (MTP) لعائلة نماذج Qwen3-Next. يتضمن هذا التحديث تغييرات تنفيذية محددة للتعامل مع طبقات MTP وإصلاحات تتعلق بفحص الأنواع في بايثون داخل قاعدة الشفرة.