github llama.cpp · منذ 1 ساعة · inference

يُصلح llama.cpp b10327 عدد الخيوط/الكتل في نواة النسخ المُكمَّم

مُترجم من English → العربية

أصدر مشروع llama.cpp الإصدار b10327، والذي يتضمن إصلاحًا لعدد الخيوط والكتل في إطلاقات نواة النسخ المُكمَّم على CUDA. يعالج هذا التحديث مشكلة تم تحديدها في طلب السحب #26731.

تضيف النسخة اختبارات لحالات نسخ عدد الكتل غير المتساوي لضمان الصحة.
تتوفر الملفات الثنائية لأنظمة macOS (Apple Silicon و Intel)، و Linux (CPU، Vulkan، ROCm 7.2، OpenVINO، SYCL)، و Android، و Windows (CPU، OpenCL Adreno، CUDA 12/13، Vulkan، OpenVINO، SYCL، HIP)، و openEuler.
يتم أيضًا توفير إطار عمل XCFramework لنظام iOS وإصدار واجهة مستخدم مستقل.
تضمن هذه النسخة التنفيذ المستقر لعمليات النسخ المُكمَّم على عتاد CUDA عبر مجموعة واسعة من المنصات المدعومة.

الأهمية 1/3 الموثوقية 1/3 llama.cpp Inference efficiency Local inference

قراءة الأصل

يضيف llama.cpp b10313 مجدول LRU إلى الخادم

أصدر مشروع llama.cpp الإصدار b10313، الذي يقدم مجدول الاستخدام الأقل مؤخراً (LRU) لمكون الخادم الخاص به. يتضمن هذا التحديث التعامل مع تجميع الطلبات وإصلاحات لحالات البث.

github llama.cpp · منذ 15 ساعة

إصدار llama.cpp b10312 مع إصلاح للخادم للنماذج المزدحمة

أطلق مشروع llama.cpp الإصدار b10312، والذي يتضمن تحديثاً محدداً لمكون الخادم. يعالج التغيير الرئيسي مشكلة كانت تؤدي إلى طرد النماذج المزدحمة من الموزع.

github llama.cpp · منذ 17 ساعة

إصلاح llama.cpp b10307 لتحليل NVFP4 في SYCL

أصدر مشروع llama.cpp الإصدار b10307، والذي يتضمن إصلاحًا لكود GPU الخاص بـ SYCL لتحليل عوامل القياس UE4M3 المستخدمة في الكمّية NVFP4 بشكل صحيح.

github llama.cpp · منذ 1 يوم

يضيف llama.cpp b10298 وظيفة حفظ/تحميل القطع لوحدات mtmd

أصدر مشروع llama.cpp الإصدار b10298، الذي يقدم وظيفة جديدة لحفظ وتحميل القطع لوحدة mtmd. يتضمن هذا التحديث أيضًا تنظيف الكود واختبارات إضافية.

github llama.cpp · منذ 3 يوم · مشاهدة واحدة

يضيف llama.cpp b10282 عدادات spec-decode إلى نقطة النهاية /metrics

أصدر مشروع llama.cpp الإصدار b10282، الذي يقدم قدرات مراقبة جديدة للترميز التخميني. يتضمن الخادم الآن عدادات spec-decode في نقطة النهاية الخاصة به /metrics، مما يسمح للمستخدمين بتتبع مقاييس الأداء المتعلقة بهذه الميزة.