github llama.cpp · منذ 1 يوم · inference

إضافة خيار preset المسمى dedup-cache-models في llama.cpp b10505

مُترجم من English → العربية

أصدر مشروع llama.cpp الإصدار b10505، الذي يقدم خيار preset جديدًا `dedup-cache-models` لمكون الخادم.

تتضمن النسخة ملفات ثنائية (binaries) لأنظمة macOS (Apple Silicon وIntel)، وLinux (Ubuntu x64، arm64، s390x، Vulkan، OpenVINO، SYCL)، وAndroid، وWindows (CPU، CUDA 12/13، Vulkan، OpenVINO، SYCL، ROCm)، وopenEuler.
دعم KleidiAI لأنظمة macOS على معالجات Apple Silicon معطل في هذا البناء.
دعم Ubuntu x64 لـROCm 7.14 معطل أيضًا.
يتوفر حزمة واجهة مستخدم جديدة للتحميل جنبًا إلى جنب مع الملفات الثنائية الخاصة بالمنصة.

الأهمية 1/3 الموثوقية 1/3 llama.cpp Inference efficiency Local inference

يضيف llama.cpp b10541 وسيط --mmproj-device للمشاريع متعددة الوسائط

أصدر مشروع llama.cpp الإصدار b10541، مقدمًا وسيط سطر الأوامر `--mmproj-device` للسماح للمستخدمين بتحديد الخلفية (backend) للجهاز لتحميل ملفات الإسقاط متعدد الوسائط.

github llama.cpp · منذ 2 ساعة · مشاهدة واحدة

يصلح llama.cpp b10545 قراءات خارج الحدود في ضرب المصفوفات لـ Metal عندما لا يكون K مضاعفًا لـ 32

أصدر مشروع llama.cpp الإصدار b10545، الذي يعالج خطأً حرجًا في نواة ضرب المصفوفات لواجهة برمجة التطبيقات للترس في الخلفية Metal. يمنع التحديث السلوك غير المحدد والنتائج التالفة عند معالجة الترسات حيث لا يكون البعد K مضاعفًا لـ 32.

github llama.cpp · منذ 3 ساعة · مشاهدة واحدة

إصدار llama.cpp b10538 مع ذاكرة تخزين مؤقت KV غير مُكمّأة للحزم الكبيرة

أطلق مشروع llama.cpp الإصدار b10538، مقدمًا تحسينًا رئيسيًا في الخلفية metal. يتيح هذا التحديث فك تكميم ذاكرة التخزين المؤقت للمفاتيح والقيم (KV) حصريًا لأحجام الحزم الكبيرة.

github llama.cpp · منذ 4 ساعة · مشاهدة واحدة

llama.cpp b10532 يضيف فك تكميم ذاكرة الوصول العشوائي لـ Metal لتسريع الانتباه السريع

أصدر مشروع llama.cpp الإصدار b10532، مقدماً مرحلة معالجة مسبقة على الخلفية البرمجية لـ Metal تقوم بفك تكميم مخازن الذاكرة الرئيسية والقيمة (KV) المكمّمة إلى صيغة F16 قبل تنفيذ خوارزمية الانتباه السريع.

github llama.cpp · منذ 8 ساعة · مشاهدة واحدة

llama.cpp b10519 يعيد هيكلة معالجة النوم للسماح بالوصول إلى المقاييس

أصدر مشروع llama.cpp الإصدار b10519، والذي يتضمن إعادة هيكلة كبيرة لآلية معالجة النوم في الخادم. يسمح هذا التغيير ببقاء نقطة النهاية /metrics متاحة بينما يكون الخادم في حالة سكون.