github llama.cpp · منذ 1 ساعة · inference

يوزع llama.cpp b11405 فهرس البرق عبر المفاتيح والرموز لـ 4 رؤوس

مُترجم من English → العربية

تحديث إصدار llama.cpp b11405 للخلفية CUDA من خلال توزيع فهرس البرق عبر المفاتيح والرموز لـ 4 رؤوس، مما يعالج مشكلات الأداء مع أعداد الرؤوس الصغيرة.

يقوم النواة بتخزين استعلامات وأوزان جميع الرؤوس في وقت واحد، وتوسيع كل عنصر مفتوح بدقة نصفية مرة واحدة لتغذية جميع الرؤوس دون الحاجة إلى رحلة دوران عائمة.
تبقى الاستعلامات في الدقة العائمة داخل الذاكرة المشتركة لمنع التزاحم من منتجات half2 عندما يتجاوز q * k نطاق f16.
الآن تقوم كل خامة بتقييم مفتاحين لرمز واحد، مما يقلل من قراءات الذاكرة المشتركة ويحافظ على gfx908 عند 63 VGPRs دون انسكاب المسجل.
يجعل هذا التحسين النواة أسرع بـ 36 مرة على R9700 وأسرع قليلاً على الأجهزة CUDA.

يوفر الإصدار ثنائيات لأنظمة macOS وLinux وWindows وAndroid وopenEuler عبر خلفيات CPU وGPU (CUDA، ROCm، Vulkan، OpenCL) وNPU.

الأهمية 1/3 الموثوقية 1/3 llama.cpp Hugging Face Inference efficiency

قراءة الأصل

مقالات ذات صلة

github llama.cpp · منذ 1 ساعة · مشاهدة واحدة مباشر

llama.cpp b11403 يستخدم MMVF للضرب المصفوفي f16/bf16 الرقيق بحجم دفعة صغير

أصدر مشروع llama.cpp الإصدار b11403، والذي يتضمن تحسينًا لـ CUDA لاستخدام نواة MMVF لضرب المصفوفات f16 و bf16 الرقيقة بأحجام دفعات صغيرة.

github llama.cpp · منذ 19 ساعة · 28 مشاهدة

إصلاح llama.cpp b11390 لخطأ ذاكرة CUDA MMQ

أصدر مشروع llama.cpp الإصدار b11390، والذي يتضمن إصلاحًا لخطأ ذاكرة CUDA MMQ الذي حدث عندما كان عدد الخبراء أكبر بكثير من حجم الدفعة الدقيقة.

github llama.cpp · منذ 2 يوم · 24 مشاهدة

يصلح llama.cpp b11375 عمليات الإنهاء القسري لإعادة تخصيص الرسم البياني تحت GGML_SCHED_NO_REALLOC

أصدر مشروع llama.cpp الإصدار b11375، الذي يعالج مشكلة حرجة حيث كانت خلايا ubatch غير المتصلة تجبر إعادة تخصيص الرسوم البيانية التي تؤدي إلى الإنهاء عند تعيين العلم GGML_SCHED_NO_REALLOC.

github llama.cpp · منذ 2 يوم · 29 مشاهدة

إصدار llama.cpp b11372 يقلل ذاكرة فهرسة qwen4exp إلى النصف ويضيف دعم CUDA لـ 4 رؤوس

يُطلق إصدار llama.cpp b11372 تحسينات لفهرس البرق الخاص بنموذج qwen4exp، وذلك بشكل أساسي عن طريق تقليل الذاكرة المطلوبة لدرجات الفهرسة أثناء معالجة السياقات الطويلة إلى النصف. يتحقق ذلك من خلال حساب درجات الرؤوس في مكانها بدلاً من إنشاء موترات منفصلة لكل رأس.

github llama.cpp · منذ 2 يوم · 30 مشاهدة

llama.cpp b11368 يضيف العينة الاحتمالية للمسودة البسيطة و MTP

أصدر مشروع llama.cpp الإصدار b11368، الذي يقدم العينة الاحتمالية لعمليات عمل المسودة البسيطة و MTP (Multi-Token Prediction). يعدل هذا التحديث آلية المسودة لاستخدام الاختيار الاحتمالي مع التحقق من الأهداف عبر عينة الرفض.