github llama.cpp · الآن · inference

llama.cpp b10410 يزيل الترقية المنفصلة لنوع fp32 في مسار gemm non-oneDNN

مُترجم من English → العربية

أصدر مشروع llama.cpp الإصدار b10410، والذي يتضمن تغييرًا في الكود لخلفية SYCL. يزيل هذا التحديث الترقية المنفصلة لنوع fp32 في مسار GEMM غير oneDNN ويستخدم بدلاً من ذلك الترقية التلقائية لـ fp16.

يوفر الإصدار ملفات ثنائية لنظام macOS (Apple Silicon و Intel)، و Linux (Ubuntu x64، arm64، s390x، Vulkan، OpenVINO، SYCL FP32/FP16)، و Android، و Windows (CPU، OpenCL Adreno، CUDA 12/13، Vulkan، OpenVINO، SYCL، ROCm 7.14)، و openEuler.
دعم macOS Apple Silicon KleidiAI معطل في هذا الإصدار.
دعم Ubuntu x64 ROCm 7.14 معطل أيضًا.
مكون واجهة المستخدم متاح كتنزيل منفصل.

يُبسط هذا التحديث تنفيذ SYCL GEMM من خلال الاعتماد على الترقية التلقائية للنوع بدلاً من المعالجة الصريحة.

الأهمية 1/3 الموثوقية 1/3 llama.cpp Hugging Face Inference efficiency

قراءة الأصل

يضيف llama.cpp b10408 نواة ESIMD Q3_K وينقل التحكم إلى وقت التشغيل

أصدر مشروع llama.cpp الإصدار b10408، الذي يقدم نواة DMMV Q3_K ESIMd لبطاقات Intel الرسومية. يتضمن هذا الإصدار أيضًا نوادر ESIMD الجديدة Q4_K وQ6_K ويعيد هيكلة قاعدة الكود للسماح بالتحكم في ESIMD في وقت التشغيل بدلاً من وقت الترجمة.

github llama.cpp · منذ 3 يوم

يصلح llama.cpp b10353 النتائج الخاطئة الصامتة في نوى ROLL الخاصة بـ CUDA و Metal

أصدر مشروع llama.cpp الإصدار b10353، الذي يعالج خطأً حرجًا في عملية ggml_roll على خلفيات CUDA و Metal. سابقًا، كانت موترات المصدر المُبدَّلة (غير المتصلة) تنتج نتائج خاطئة بصمت لأن هذه الخلفيات تتجاهل معلومات الخطوة.

github llama.cpp · منذ 6 يوم · مشاهدة واحدة

إصلاحات llama.cpp b10321 لعمليات NORM/RMS_NORM لأطوال الصفوف الجزئية في simdgroup

أصدر مشروع llama.cpp الإصدار b10321، الذي يتضمن إصلاحًا حاسمًا لعمليتي GGML_OP_NORM وGGML_OP_RMS_NORM على Metal. يحل التحديث مشكلة كانت تؤدي فيها مجموعات الخيوط ذات الأحجام التي تترك مجموعة SIMD جزئية إلى حسابات غير صحيحة للوسيط والتباين بسبب فقدان المجاميع الجزئية.

github llama.cpp · منذ 7 يوم · 6 مشاهدات

يضيف llama.cpp b10293 تكامل مستمر لـ ROCm لـ gfx1151 ويصلح الاستدلال على RDNA3.5

أصدر مشروع llama.cpp الإصدار b10293، والذي يتضمن دمج التكامل المستمر من AMD ROCم للهندسة المعمارية gfx1151 وحل مشاكل الدقة على وحدات معالجة الرسومات المتكاملة RDNA3.5.

github llama.cpp · منذ 9 يوم · 3 مشاهدات

يمدد llama.cpp الإصدار b10255 مسار oneDNN SDPA ليشمل مخازن KV غير FP16

يُمدّ إصدار llama.cpp b10255 مسار oneDNN SDPA لدعم مخازن المفاتيح والقيم (KV) غير FP16، بما في ذلك صيغ الكمّ Q4_0–Q8_0 وFP32. يسمح هذا التحديث بتشغيل نواة systolic المدمجة بنفس طريقة المسار الأصلي FP16 من خلال فك الكمّ أو تحويل موترات K/V إلى FP16 كثيف على الجهاز قبل المعالجة.