github llama.cpp · منذ 3 ساعة · inference

llama.cpp b10656 يحد من ذاكرة العمل لتجنب تحميل موترات كبيرة إلى الذاكرة العشوائية

مُترجم من English → العربية

أصدر مشروع llama.cpp الإصدار b10656، الذي يتضمن تغييرًا لقياس حجم ذاكرة العمل. صُمم هذا التعديل لمنع تحميل الموترات الكبيرة إلى ذاكرة النظام العشوائية.

يوفر الإصدار ملفات ثنائية لنظام macOS (Apple Silicon وIntel) وiOS وLinux (Ubuntu x64 وarm64 وs390x) وAndroid وWindows وopenEuler.
تشمل الخلفيات المدعومة CPU وVulkan وROCm 7.14 وOpenVINO وSYCL وCUDA 12/13 وOpenCL Adreno.
تم تعطيل دعم KleidiAI لنظام macOS Apple Silicon في هذا الإصدار.

يضمن هذا التحديث استخدامًا أكثر استقرارًا للذاكرة أثناء عمليات التكميم من خلال الحد من حجم ذاكرة العمل.

الأهمية 1/3 الموثوقية 1/3 llama.cpp Inference efficiency Local inference

قراءة الأصل

llama.cpp b10662 يضيف ctx-per-slot للـ KV كاش الموحد

أصدر مشروع llama.cpp الإصدار b10662، مقدمًا وسيطًا جديدًا `--kv-unified-per-slot` يسمح للمستخدمين بتحديد السياق لكل فتحة لـ KV كاش الموحد. يحل هذا التغيير محل آلية كسر السياق السابقة بفتحات بركة السياق ويعيد هيكلة التنفيذ الأساسي.

github llama.cpp · منذ 1 ساعة · مشاهدة واحدة مباشر

يضيف llama.cpp دعم بنية Qwen3.8-Flash-Next (qwen4exp)

أضاف مشروع llama.cpp دعمًا لبنية نموذج Qwen3.8-Flash-Next (qwen4exp)، بتنفيذ مكوناته المحددة بما في ذلك الوصلات الفائقة، وشبكات دلتا ذات البوابات، وخلط الخبراء، وتضمينات التجزئة n-gram لـ PLE.

github llama.cpp · منذ 2 ساعة · مشاهدة واحدة

llama.cpp b10658 يضيف دعم DFlash2 ويصلح خطأ mrope

أصدر مشروع llama.cpp الإصدار b10658، مقدمًا دعمًا لمواصفة DFlash2 التي تتضمن الالتفاف المحلي ومحدد المرشحين. يعالج هذا التحديث أيضًا خطأ محددًا في mrope داخل قاعدة الشفرة.

github llama.cpp · منذ 2 ساعة · مشاهدة واحدة

يقوم llama.cpp بتضمين ملفات DLL الخاصة بـ HIP runtime مع إصدار ROCم لنظام ويندوز

قام مشروع llama.cpp بتحديث إصداره الخاص بـ ROCm لنظام ويندوز لدمج ملفات DLL اللازمة لـ HIP runtime مباشرة بجانب الملفات الثنائية. يعالج هذا التغيير المشكلة #26929 من خلال ضمان تحميل نسخة HIP runtime الصحيحة بدلاً من التداخل المحتمل مع نسخة السائق في System32.

github llama.cpp · منذ 3 ساعة · مشاهدة واحدة

يضيف llama.cpp b10657 نوى OpenCL الثنائية لـ GEMO MOE

أصدر مشروع llama.cpp الإصدار b10657، مقدمًا نوى OpenCL ثنائية جديدة للنماذج ذات الخبراء المختلطين. على وجه التحديد، تضيف التحديث `kernel_gemm_moe_q4_0_q8_1_dp4a_bin` و `kernel_gemm_moe_mxfp4_q8_1_dp4a_bin` لدعم الحساب الفعال على الأجهزة المتوافقة.