github llama.cpp · الآن · inference

يضيف llama.cpp b11338 نسخ DMA متداخل مشترك لـ CPY و CONCAT

مُترجم من English → العربية

أصدر مشروع llama.cpp الإصدار b11338، مقدمًا آلية نسخ وصول الذاكرة المباشر (DMA) المتداخل المشترك لعمليات CPY و CONCAT. يتيح هذا التحديث إجراء CONCAT بأي بُعد عبر DMA على هياكل Hexagon.

تم تنفيذ نسخ DMA متداخل مشترك لعمليات CPY و CONCAT.
تم تمكين CONCAT بأي بُعد عبر DMA.
تمت إزالة منطق CONCAT_DMA_MIN_ROW المعطّل الذي كان غير متوافق مع DMA 64 بت.
تمت إضافة استدعاءات dma_queue_flush() المفقودة وحمايات إضافية للحالات غير المدعومة.

يوفر هذا الإصدار ملفات ثنائية لأنظمة macOS و Linux و Windows و Android و openEuler عبر خلفيات CPU و GPU و NPU.

الأهمية 1/3 الموثوقية 1/3 llama.cpp Hugging Face Inference efficiency

قراءة الأصل

يقوم llama.cpp b11335 بتوجيه sm70 إلى جدول Turing MMVQ لأداء Volta

أصدر مشروع llama.cpp الإصدار b11335، الذي يتضمن تحسينًا لـ CUDA لوحات الفيديو Volta. يعيد التحديث توجيه بنية sm_70 إلى جدول nwarps الموجود لـ Turing MMVQ بدلاً من السقوط في التكوين العام.

github llama.cpp · منذ 3 ساعة · مشاهدة واحدة

يضيف llama.cpp b11333 دعم bfloat16 لـ WebGPU في عمليات MUL_MAT

أصدر مشروع llama.cpp الإصدار b11333، الذي يقدم دعم bfloat16 لعمليات MUL_MAT وMUL_MAT_ID وGET_ROWS داخل واجهة WebGPU الخلفية الخاصة به.

github llama.cpp · منذ 1 يوم · 5 مشاهدات

llama.cpp b11309 يحسّن ALLREDUCE الخاص بـ Hexagon باستخدام وضع scatter الآمن

أصدر مشروع llama.cpp الإصدار b11309، والذي يتضمن تحسينًا رئيسيًا لخلفية Hexagon. تضيف هذه التحديث دعم وضع scatter الآمن إلى عملية ALLREDUCE، بهدف تحسين الأداء والاستقرار على أجهزة Qualcomm Snapdragon.

github llama.cpp · منذ 2 يوم · 9 مشاهدات

يضيف llama.cpp دعم GLM-5.3-Flash مع إصلاحات k-pool و MTP

أضاف مشروع llama.cpp الدعم الأولي لهندسة نموذج GLM-5.3-Flash (GLM5-Next)، بما في ذلك الانتقال إلى ذاكرة الفهرس الهجين وقدرات التنبؤ متعدد الرموز (MTP) المبكرة.

github llama.cpp · منذ 2 يوم · 5 مشاهدات

يحمّل llama.cpp الإصدار b11266 مصفوفة A من نوع F32 بعنصرين في كل مرة لـ Vulkan على معالجات Intel

أصدر مشروع llama.cpp البناء b11266، الذي يتضمن تحسينًا لـ Vulkan يحمّل مصفوفات A من نوع F32 بعنصرين في كل مرة عندما تكون محاذاة بعامل 2. يعالج هذا التغيير مشكلات الأداء على الأجهزة من Intel حيث يكون تحميل الأعداد العائمة واحدًا تلو الآخر غير كفء، كما يصحح نقص التحقق من صحة محاذاة `a_offset` في التصحيح الأصلي.