github llama.cpp · منذ 1 ساعة · inference

إصلاح llama.cpp b10307 لتحليل NVFP4 في SYCL

مُترجم من English → العربية

أصدر مشروع llama.cpp الإصدار b10307، والذي يتضمن إصلاحًا لكود GPU الخاص بـ SYCL لتحليل عوامل القياس UE4M3 المستخدمة في الكمّية NVFP4 بشكل صحيح.

يصحح التحديث تحويل قيم المقياس من E4M3 ذو الإشارة إلى غير ذي إشارة، حيث تخزن NVFP4 هذه العوامل في بايتات UE4M3 فردية.
تتوفر الملفات الثنائية لأنظمة macOS (Apple Silicon و Intel) و Linux (CPU و Vulkan و ROCm 7.2 و OpenVINO و SYCL FP32/FP16) و Android و Windows (CPU و OpenCL Adreno و CUDA 12/13 و Vulkan و OpenVINO و SYCL و HIP) و openEuler.
كما تم توفير إصدار بواجهة مستخدم للاستخدام العام.

الأهمية 1/3 الموثوقية 1/3 llama.cpp Inference efficiency Local inference

قراءة الأصل

يضيف llama.cpp b10298 وظيفة حفظ/تحميل القطع لوحدات mtmd

أصدر مشروع llama.cpp الإصدار b10298، الذي يقدم وظيفة جديدة لحفظ وتحميل القطع لوحدة mtmd. يتضمن هذا التحديث أيضًا تنظيف الكود واختبارات إضافية.

github llama.cpp · منذ 2 يوم · مشاهدة واحدة

يضيف llama.cpp b10282 عدادات spec-decode إلى نقطة النهاية /metrics

أصدر مشروع llama.cpp الإصدار b10282، الذي يقدم قدرات مراقبة جديدة للترميز التخميني. يتضمن الخادم الآن عدادات spec-decode في نقطة النهاية الخاصة به /metrics، مما يسمح للمستخدمين بتتبع مقاييس الأداء المتعلقة بهذه الميزة.

github llama.cpp · منذ 3 يوم

يسمح llama.cpp b10259 بإعادة تشكيل الموترات أثناء التحميل

أصدر مشروع llama.cpp الإصدار b10259، الذي يقدم القدرة على السماح بإعادة تشكيل الموترات أثناء عملية التحميل.

github llama.cpp · منذ 3 يوم · مشاهدتان

llama.cpp b10254 يضيف قالب DeepSeek V4 Flash 0731 ويحدّث قوالب V4

أصدر مشروع llama.cpp الإصدار b10254، مقدمًا قالب محادثة جديدًا لنموذج DeepSeek V4 Flash 0731 جنبًا إلى جنب مع تحديثات لقوالب DeepSeek V4 الحالية.

github llama.cpp · منذ 3 يوم

llama.cpp b10251 يضيف دعم MTP لنموذج GLM-4.7-Flash

أصدر مشروع llama.cpp الإصدار b10251، الذي يقدم دعم التنبؤ متعدد الرموز (MTP) لنموذج GLM-4.7-Flash.