github llama.cpp · منذ 1 ساعة · inference

دمج llama.cpp b10427 لعمليات FFN عبر SYCL لتحقيق زيادة في الإنتاجية تصل إلى 12.4%

مُترجم من English → العربية

أصدر مشروع llama.cpp الإصدار b10427، الذي يتضمن تحسينًا للأداء لوحات Intel Arc الرسومية عبر SYCL. يطبق التحديث دمج عمليات gate و up و GLU داخل طبقة الشبكة العصبية الأمامية الكثيفة (FFN) من نوع q4_K.

تم القياس على جهاز Arc Pro B70 باستخدام llama-bench، وزاد الإنتاجية بنسبة 2.8% لنموذج qwen2.5-3B-Instruct و 2.0% لنموذج gemma-2-2b-it.
أظهرت اختبارات الاستدلال الدفعي (batched inference) على نموذج qwen2.5-3B مكاسب كبيرة: +3.4% عند حجم دفعي 1، وترتفع إلى +10.1% عند B=2، و+10.7% عند B=4، و+12.4% عند B=8.

يوفر هذا الإصدار ملفات ثنائية جاهزة للتشغيل لأنظمة macOS و Linux و Windows و Android و openEuler عبر الخلفيات CPU و CUDA و Vulkan و ROCm و OpenVINO.

الأهمية 1/3 الموثوقية 1/3 llama.cpp Hugging Face Inference efficiency

قراءة الأصل

يضيف llama.cpp b10413 الكشف التلقائي لنوع مواصفات المسودة من بيانات GGUF Metadata

أصدر مشروع llama.cpp الإصدار b10413، الذي يُدخل الكشف التلقائي عن نوع مواصفات فك التشفير التخميني مباشرةً من بيانات نموذج GGUF الخاصة بالمسودة.

github llama.cpp · منذ 18 ساعة · مشاهدة واحدة

llama.cpp b10410 يزيل الترقية المنفصلة لنوع fp32 في مسار gemm non-oneDNN

أصدر مشروع llama.cpp الإصدار b10410، والذي يتضمن تغييرًا في الكود لخلفية SYCL. يزيل هذا التحديث الترقية المنفصلة لنوع fp32 في مسار GEMM غير oneDNN ويستخدم بدلاً من ذلك الترقية التلقائية لـ fp16.

github llama.cpp · منذ 19 ساعة · 4 مشاهدات

يضيف llama.cpp b10408 نواة ESIMD Q3_K وينقل التحكم إلى وقت التشغيل

أصدر مشروع llama.cpp الإصدار b10408، الذي يقدم نواة DMMV Q3_K ESIMd لبطاقات Intel الرسومية. يتضمن هذا الإصدار أيضًا نوادر ESIMD الجديدة Q4_K وQ6_K ويعيد هيكلة قاعدة الكود للسماح بالتحكم في ESIMD في وقت التشغيل بدلاً من وقت الترجمة.

github llama.cpp · منذ 3 يوم · 6 مشاهدات

يصلح llama.cpp b10353 النتائج الخاطئة الصامتة في نوى ROLL الخاصة بـ CUDA و Metal

أصدر مشروع llama.cpp الإصدار b10353، الذي يعالج خطأً حرجًا في عملية ggml_roll على خلفيات CUDA و Metal. سابقًا، كانت موترات المصدر المُبدَّلة (غير المتصلة) تنتج نتائج خاطئة بصمت لأن هذه الخلفيات تتجاهل معلومات الخطوة.

github llama.cpp · منذ 7 يوم · 8 مشاهدات

إصلاحات llama.cpp b10321 لعمليات NORM/RMS_NORM لأطوال الصفوف الجزئية في simdgroup

أصدر مشروع llama.cpp الإصدار b10321، الذي يتضمن إصلاحًا حاسمًا لعمليتي GGML_OP_NORM وGGML_OP_RMS_NORM على Metal. يحل التحديث مشكلة كانت تؤدي فيها مجموعات الخيوط ذات الأحجام التي تترك مجموعة SIMD جزئية إلى حسابات غير صحيحة للوسيط والتباين بسبب فقدان المجاميع الجزئية.