github llama.cpp · منذ 5 يوم · inference

يضيف llama.cpp b11195 عملية ضرب مصفوفات مقسمة إلى مربعات لكميات k مع تسريع بمقدار 3-6 أضعاف

مُترجم من English → العربية

أصدر مشروع llama.cpp الإصدار b11195، الذي يقدم تنفيذًا لعملية ضرب المصفوفات المقسمة إلى مربعات لكميات k في الخلفية المعالجة بالوحدة المركزية. يفك هذا التغيير البيانات المُكمّاة إلى مربعات بحجم 256x256 من النوع int8 ويحسب النتائج باستخدام نوى دقيقة لتحسين الأداء في عمليات المصفوفات الكبيرة.

يوفر ضرب المصفوفات المقسمة إلى مربعات تسريعًا بمقدار 3-6 أضعاف لعمليات الضرب للمصفوفات الكبيرة، مع نقطة التعادل عند أبعاد 4096x64 * 64x4096.
تبقى معدلات الخطأ ضئيلة، حيث تصل الأخطاء القصوى إلى حوالي 1-e04 وRMSE إلى حوالي 1-e05.
يتضمن الإصدار إصلاحات لعمليات البناء على ARM ونظام Windows، ودعم موحد لمعايير IQP لكميات Q5_K وIQ4_XS، ونوى AVX2 المُحسّنة.

يُحسّن التحديث سرعة الاستدلال لعمليات المصفوفات الكبيرة مع الحفاظ على الدقة العددية عبر المنصات المدعومة.

الأهمية 1/3 الموثوقية 1/3 llama.cpp Hugging Face Inference efficiency

قراءة الأصل

مقالات ذات صلة

github llama.cpp · منذ 11 ساعة · مشاهدتان

يضيف llama.cpp دعم GLM-5.3-Flash مع إصلاحات k-pool و MTP

أضاف مشروع llama.cpp الدعم الأولي لهندسة نموذج GLM-5.3-Flash (GLM5-Next)، بما في ذلك الانتقال إلى ذاكرة الفهرس الهجين وقدرات التنبؤ متعدد الرموز (MTP) المبكرة.

github llama.cpp · منذ 20 ساعة · مشاهدتان

يحمّل llama.cpp الإصدار b11266 مصفوفة A من نوع F32 بعنصرين في كل مرة لـ Vulkan على معالجات Intel

أصدر مشروع llama.cpp البناء b11266، الذي يتضمن تحسينًا لـ Vulkan يحمّل مصفوفات A من نوع F32 بعنصرين في كل مرة عندما تكون محاذاة بعامل 2. يعالج هذا التغيير مشكلات الأداء على الأجهزة من Intel حيث يكون تحميل الأعداد العائمة واحدًا تلو الآخر غير كفء، كما يصحح نقص التحقق من صحة محاذاة `a_offset` في التصحيح الأصلي.

github llama.cpp · منذ 22 ساعة · مشاهدة واحدة

إصلاح llama.cpp b11265 لاختيار بلاطات matmul MOE في Vulkan

يتضمن إصدار llama.cpp b11265 إصلاحًا لمعالجة نماذج Mixture of Experts (MoE) بواسطة الخلفية الخلفية Vulkan. يصحّج التحديث كيفية اختيار `mat_mul_id` لبلاطات الضرب المصفوفي، مما يعالج مشكلة أداء كانت تترك فيها العمال في حالة خمول أثناء التوجيه.

github llama.cpp · منذ 2 يوم · 4 مشاهدات

يضيف llama.cpp b11238 ggml_pad_ext للحشو الأيسر ويتخطى نقرات DFlash2

أصدر مشروع llama.cpp الإصدار b11238، مقدّماً تنفيذًا موحدًا للحشو الأيسر عبر الدالة الجديدة `ggml_pad_ext`. يجمع هذا التغيير الأساليب السابقة المستخدمة في مشفرات الصوت مثل Parakeet وLFM2-Audio وGranite Speech وGemma 4، مما يضمن تطابق التضمينات بتًا ببت لـ Gemma 4 مع تبسيط دعم الخلفية.

github llama.cpp · منذ 2 يوم · 5 مشاهدات

llama.cpp b11232 يُمكّن الانتباه المضيء المربّع على x86

أصدر مشروع llama.cpp الإصدار b11232، الذي يتضمن تحديثات لخلفية ggml-cpu. يركز هذا الإصدار على تمكين الانتباه المضيء المربّع لأبعاد الرأس غير المضاعفة للمتجه على بنية x86.