github llama.cpp · منذ 1 ساعة · inference

يضيف llama.cpp b10413 الكشف التلقائي لنوع مواصفات المسودة من بيانات GGUF Metadata

مُترجم من English → العربية

أصدر مشروع llama.cpp الإصدار b10413، الذي يُدخل الكشف التلقائي عن نوع مواصفات فك التشفير التخميني مباشرةً من بيانات نموذج GGUF الخاصة بالمسودة.

يكشف تلقائياً عن نوع المواصفة بقراءة `general.architecture` من رأس GGUF الخاص بالمسودة وربط موترات مثل `dflash` و `markov_w1.weight` بـ `draft-dspark` أو `draft-dflash`.
يصلح مشكلةً كان يؤدي فيها تحميل نماذج مسودة محلية دون تحديد صريح لـ `--spec-type` إلى بقاء فك التشفير التخميني غير نشط (النوع NONE).
ينقل منطق الكشف عن نوع المواصفة إلى وحدة التخمين باستخدام أنماط RAII ويضيف تسجيلات لإعلام المستخدمين عند حدوث الكشف التلقائي.
يوفر ثنائيات لأنظمة macOS (شريحة Apple Silicon وIntel)، وiOS، وLinux (CPU، Vulkan، OpenVINO، SYCL)، وAndroid، وWindows (CPU، CUDA 12/13، Vulkan، OpenCL، ROCm)، وopenEuler.

يضمن هذا التغيير تفعيل فك التشفير التخميني بشكل صحيح للنماذج المحلية المسودة دون الحاجة إلى تكوين يدوي لنوع المواصفة.

الأهمية 1/3 الموثوقية 1/3 llama.cpp Hugging Face Inference efficiency

قراءة الأصل

مقالات ذات صلة

github llama.cpp · منذ 5 ساعة · مشاهدة واحدة

llama.cpp b10410 يزيل الترقية المنفصلة لنوع fp32 في مسار gemm non-oneDNN

أصدر مشروع llama.cpp الإصدار b10410، والذي يتضمن تغييرًا في الكود لخلفية SYCL. يزيل هذا التحديث الترقية المنفصلة لنوع fp32 في مسار GEMM غير oneDNN ويستخدم بدلاً من ذلك الترقية التلقائية لـ fp16.

github llama.cpp · منذ 7 ساعة · مشاهدة واحدة

يضيف llama.cpp b10408 نواة ESIMD Q3_K وينقل التحكم إلى وقت التشغيل

أصدر مشروع llama.cpp الإصدار b10408، الذي يقدم نواة DMMV Q3_K ESIMd لبطاقات Intel الرسومية. يتضمن هذا الإصدار أيضًا نوادر ESIMD الجديدة Q4_K وQ6_K ويعيد هيكلة قاعدة الكود للسماح بالتحكم في ESIMD في وقت التشغيل بدلاً من وقت الترجمة.

github llama.cpp · منذ 3 يوم

يصلح llama.cpp b10353 النتائج الخاطئة الصامتة في نوى ROLL الخاصة بـ CUDA و Metal

أصدر مشروع llama.cpp الإصدار b10353، الذي يعالج خطأً حرجًا في عملية ggml_roll على خلفيات CUDA و Metal. سابقًا، كانت موترات المصدر المُبدَّلة (غير المتصلة) تنتج نتائج خاطئة بصمت لأن هذه الخلفيات تتجاهل معلومات الخطوة.

github llama.cpp · منذ 6 يوم · مشاهدة واحدة

إصلاحات llama.cpp b10321 لعمليات NORM/RMS_NORM لأطوال الصفوف الجزئية في simdgroup

أصدر مشروع llama.cpp الإصدار b10321، الذي يتضمن إصلاحًا حاسمًا لعمليتي GGML_OP_NORM وGGML_OP_RMS_NORM على Metal. يحل التحديث مشكلة كانت تؤدي فيها مجموعات الخيوط ذات الأحجام التي تترك مجموعة SIMD جزئية إلى حسابات غير صحيحة للوسيط والتباين بسبب فقدان المجاميع الجزئية.

github llama.cpp · منذ 7 يوم · 8 مشاهدات

يضيف llama.cpp b10293 تكامل مستمر لـ ROCm لـ gfx1151 ويصلح الاستدلال على RDNA3.5

أصدر مشروع llama.cpp الإصدار b10293، والذي يتضمن دمج التكامل المستمر من AMD ROCم للهندسة المعمارية gfx1151 وحل مشاكل الدقة على وحدات معالجة الرسومات المتكاملة RDNA3.5.