github llama.cpp · منذ 1 ساعة · inference

إصلاح llama.cpp b11390 لخطأ ذاكرة CUDA MMQ

مُترجم من English → العربية

أصدر مشروع llama.cpp الإصدار b11390، والذي يتضمن إصلاحًا لخطأ ذاكرة CUDA MMQ الذي حدث عندما كان عدد الخبراء أكبر بكثير من حجم الدفعة الدقيقة.

يحل خطأ ذاكرة في الخلفية الخلفية لـ CUDA المتعلق بمعالجة Mixture-of-Experts (MMQ).
يوفر ملفات قابلة للتنفيذ لأنظمة macOS (Apple Silicon و Intel)، و Linux (CPU، Vulkan، CUDA 12/13، ROCm، OpenVINO، SYCL، Snapdragon)، و Windows (CPU، OpenCL، CUDA 12/13، Vulkan، OpenVINO، SYCL، ROCm)، و Android، و openEuler.
يتضمن إصدارًا محدثًا لواجهة المستخدم.

يضمن هذا التحديث الاستقرار للمستخدمين الذين يشغلون نماذج Mixture-of-Experts على عتاد CUDA من خلال منع خطأ الوصول المحدد للذاكرة.

الأهمية 1/3 الموثوقية 1/3 llama.cpp Hugging Face Inference efficiency

قراءة الأصل

يصلح llama.cpp b11375 عمليات الإنهاء القسري لإعادة تخصيص الرسم البياني تحت GGML_SCHED_NO_REALLOC

أصدر مشروع llama.cpp الإصدار b11375، الذي يعالج مشكلة حرجة حيث كانت خلايا ubatch غير المتصلة تجبر إعادة تخصيص الرسوم البيانية التي تؤدي إلى الإنهاء عند تعيين العلم GGML_SCHED_NO_REALLOC.

github llama.cpp · منذ 1 يوم · 15 مشاهدة

إصدار llama.cpp b11372 يقلل ذاكرة فهرسة qwen4exp إلى النصف ويضيف دعم CUDA لـ 4 رؤوس

يُطلق إصدار llama.cpp b11372 تحسينات لفهرس البرق الخاص بنموذج qwen4exp، وذلك بشكل أساسي عن طريق تقليل الذاكرة المطلوبة لدرجات الفهرسة أثناء معالجة السياقات الطويلة إلى النصف. يتحقق ذلك من خلال حساب درجات الرؤوس في مكانها بدلاً من إنشاء موترات منفصلة لكل رأس.

github llama.cpp · منذ 1 يوم · 17 مشاهدة

llama.cpp b11368 يضيف العينة الاحتمالية للمسودة البسيطة و MTP

أصدر مشروع llama.cpp الإصدار b11368، الذي يقدم العينة الاحتمالية لعمليات عمل المسودة البسيطة و MTP (Multi-Token Prediction). يعدل هذا التحديث آلية المسودة لاستخدام الاختيار الاحتمالي مع التحقق من الأهداف عبر عينة الرفض.

github llama.cpp · منذ 2 يوم · 16 مشاهدة

llama.cpp b11362 يضيف نواة انتباه فلاش لواجهة برمجة التطبيقات الموترية مع KV بصيغة F16

أصدر مشروع llama.cpp الإصدار b11362، والذي يقدم نواة انتباه فلاش جديدة لواجهة برمجة التطبيقات الموترية تدعم تخزين المفاتيح والقيم (KV) بتنسيق F16. يتوفر هذا التحديث عبر منصات macOS وLinux وWindows وAndroid وiOS مع خيارات خلفية مختلفة بما في ذلك CUDA وVulkan وROCm.

github llama.cpp · منذ 2 يوم · 16 مشاهدة

يضيف llama.cpp b11351 الدالتين alloc_buffer_n و get_alloc_size_n إلى واجهة نوع المخزن الخلفي ggml

أصدر مشروع llama.cpp الإصدار b11351، مقدّماً طرقاً جديدة لواجهة نوع المخزن الخلفي ggml. يضيف التحديث `alloc_buffer_n` و `get_alloc_size_n` للسماح بالتحكم الأكثر دقة في تخصيص المخزن واستعلام حجمه.