github llama.cpp · منذ 12 ساعة · inference

يضيف llama.cpp b10645 --n-cpu-ffn لإفراغ أوزان FFN الكثيفة

مُترجم من English → العربية

أصدر مشروع llama.cpp الإصدار b10645، مقدمًا خيار سطر الأوامر الجديد --n-cpu-ffn. تتيح هذه الميزة للمستخدمين تحديد عدد الطبقات التي يتم إفراغ أوزان الشبكة العصبية المباشرة (FFN) الكثيفة منها إلى وحدة المعالجة المركزية.

يضيف --n-cpu-ffn للتحكم في إفراغ أوزان FFN الكثيفة إلى وحدة المعالجة المركزية لأول N طبقات.
يزيل التكرار في حلقات التجاوز لخيارات --n-cpu-moe و --spec-draft-n-cpu-moe.
يعمم llm_ffn_block_regex عبر نمط التعبير المنتظم لـ FFN.

يوفر الإصدار ملفات ثنائية لأنظمة macOS و Linux و Windows و Android و openEuler عبر خلفيات وحدة المعالجة المركزية، ووحدة معالجة الرسومات (CUDA, Vulkan, ROCm, OpenCL)، ومسرعات الذكاء الاصطناعي.

الأهمية 1/3 الموثوقية 1/3 llama.cpp Inference efficiency Local inference

قراءة الأصل

مقالات ذات صلة

github llama.cpp · الآن · مشاهدة واحدة مباشر

llama.cpp b10662 يضيف ctx-per-slot للـ KV كاش الموحد

أصدر مشروع llama.cpp الإصدار b10662، مقدمًا وسيطًا جديدًا `--kv-unified-per-slot` يسمح للمستخدمين بتحديد السياق لكل فتحة لـ KV كاش الموحد. يحل هذا التغيير محل آلية كسر السياق السابقة بفتحات بركة السياق ويعيد هيكلة التنفيذ الأساسي.

github llama.cpp · منذ 1 ساعة · مشاهدة واحدة مباشر

يضيف llama.cpp دعم بنية Qwen3.8-Flash-Next (qwen4exp)

أضاف مشروع llama.cpp دعمًا لبنية نموذج Qwen3.8-Flash-Next (qwen4exp)، بتنفيذ مكوناته المحددة بما في ذلك الوصلات الفائقة، وشبكات دلتا ذات البوابات، وخلط الخبراء، وتضمينات التجزئة n-gram لـ PLE.

github llama.cpp · منذ 2 ساعة · مشاهدة واحدة

llama.cpp b10658 يضيف دعم DFlash2 ويصلح خطأ mrope

أصدر مشروع llama.cpp الإصدار b10658، مقدمًا دعمًا لمواصفة DFlash2 التي تتضمن الالتفاف المحلي ومحدد المرشحين. يعالج هذا التحديث أيضًا خطأ محددًا في mrope داخل قاعدة الشفرة.

github llama.cpp · منذ 2 ساعة · مشاهدة واحدة

يقوم llama.cpp بتضمين ملفات DLL الخاصة بـ HIP runtime مع إصدار ROCم لنظام ويندوز

قام مشروع llama.cpp بتحديث إصداره الخاص بـ ROCm لنظام ويندوز لدمج ملفات DLL اللازمة لـ HIP runtime مباشرة بجانب الملفات الثنائية. يعالج هذا التغيير المشكلة #26929 من خلال ضمان تحميل نسخة HIP runtime الصحيحة بدلاً من التداخل المحتمل مع نسخة السائق في System32.

github llama.cpp · منذ 3 ساعة · مشاهدة واحدة

llama.cpp b10656 يحد من ذاكرة العمل لتجنب تحميل موترات كبيرة إلى الذاكرة العشوائية

أصدر مشروع llama.cpp الإصدار b10656، الذي يتضمن تغييرًا لقياس حجم ذاكرة العمل. صُمم هذا التعديل لمنع تحميل الموترات الكبيرة إلى ذاكرة النظام العشوائية.