github llama.cpp · منذ 1 ساعة · inference

llama.cpp b11403 يستخدم MMVF للضرب المصفوفي f16/bf16 الرقيق بحجم دفعة صغير

مُترجم من English → العربية

أصدر مشروع llama.cpp الإصدار b11403، والذي يتضمن تحسينًا لـ CUDA لاستخدام نواة MMVF لضرب المصفوفات f16 و bf16 الرقيقة بأحجام دفعات صغيرة.

تم تعديل منطق اختيار النواة لتحسين الأداء على وحدات معالجة الرسومات NVIDIA.
تم توفير ملفات ثنائية لأنظمة macOS (Apple Silicon و Intel)، و Linux (CPU، Vulkan، CUDA 12/13، ROCm، OpenVINO، SYCL، Snapdragon)، و Windows (CPU، OpenCL، CUDA 12/13، Vulkan، OpenVINO، SYCL، ROCm)، و Android، و openEuler.
تم تضمين XCFramework الخاص بـ iOS وبناء واجهة المستخدم إلى جانب الملفات الثنائية القياسية.

الأهمية 1/3 الموثوقية 1/3 llama.cpp Hugging Face Inference efficiency

قراءة الأصل

يوزع llama.cpp b11405 فهرس البرق عبر المفاتيح والرموز لـ 4 رؤوس

تحديث إصدار llama.cpp b11405 للخلفية CUDA من خلال توزيع فهرس البرق عبر المفاتيح والرموز لـ 4 رؤوس، مما يعالج مشكلات الأداء مع أعداد الرؤوس الصغيرة.

github llama.cpp · منذ 19 ساعة · 28 مشاهدة

إصلاح llama.cpp b11390 لخطأ ذاكرة CUDA MMQ

أصدر مشروع llama.cpp الإصدار b11390، والذي يتضمن إصلاحًا لخطأ ذاكرة CUDA MMQ الذي حدث عندما كان عدد الخبراء أكبر بكثير من حجم الدفعة الدقيقة.

github llama.cpp · منذ 2 يوم · 24 مشاهدة

يصلح llama.cpp b11375 عمليات الإنهاء القسري لإعادة تخصيص الرسم البياني تحت GGML_SCHED_NO_REALLOC

أصدر مشروع llama.cpp الإصدار b11375، الذي يعالج مشكلة حرجة حيث كانت خلايا ubatch غير المتصلة تجبر إعادة تخصيص الرسوم البيانية التي تؤدي إلى الإنهاء عند تعيين العلم GGML_SCHED_NO_REALLOC.

github llama.cpp · منذ 2 يوم · 29 مشاهدة

إصدار llama.cpp b11372 يقلل ذاكرة فهرسة qwen4exp إلى النصف ويضيف دعم CUDA لـ 4 رؤوس

يُطلق إصدار llama.cpp b11372 تحسينات لفهرس البرق الخاص بنموذج qwen4exp، وذلك بشكل أساسي عن طريق تقليل الذاكرة المطلوبة لدرجات الفهرسة أثناء معالجة السياقات الطويلة إلى النصف. يتحقق ذلك من خلال حساب درجات الرؤوس في مكانها بدلاً من إنشاء موترات منفصلة لكل رأس.

github llama.cpp · منذ 2 يوم · 30 مشاهدة

llama.cpp b11368 يضيف العينة الاحتمالية للمسودة البسيطة و MTP

أصدر مشروع llama.cpp الإصدار b11368، الذي يقدم العينة الاحتمالية لعمليات عمل المسودة البسيطة و MTP (Multi-Token Prediction). يعدل هذا التحديث آلية المسودة لاستخدام الاختيار الاحتمالي مع التحقق من الأهداف عبر عينة الرفض.