github llama.cpp · منذ 1 ساعة · inference

يسمح llama.cpp b10429 بالوصول إلى /metrics و /slots أثناء تنفيذ llama_decode()

مُترجم من English → العربية

أصدر مشروع llama.cpp الإصدار b10429، الذي يعدل الخادم للسماح بالوصول إلى نقاط النهاية /metrics و /slots أثناء تنفيذ llama_decode().

يحدث التغيير server_queue::worker لاستدعاء llama_decode داخل yield_to_queue.
كما يعالج process_mtmd_chunk أثناء هذه العملية.
تتوفر الملفات الثنائية لأنظمة macOS (Apple Silicon و Intel)، Linux (CPU، Vulkan، OpenVINO، SYCL)، Android، Windows (CPU، CUDA 12/13، Vulkan، OpenVINO، SYCL، ROCm)، و openEuler.

يحسن هذا التحديث استجابة الخادم عن طريق منع حظر نقاط النهاية أثناء استدلال النموذج.

الأهمية 1/3 الموثوقية 1/3 llama.cpp Inference efficiency

قراءة الأصل

يسمح llama.cpp b10430 بأجهزة igpu الافتراضية

أصدر مشروع llama.cpp الإصدار b10430، الذي يقدم دعمًا لأجهزة GPU المتكاملة (igpu) الافتراضية. يتضمن هذا التحديث أيضًا تعليقات محسّنة داخل قاعدة الشفرة.

github llama.cpp · منذ 6 ساعة

دمج llama.cpp b10427 لعمليات FFN عبر SYCL لتحقيق زيادة في الإنتاجية تصل إلى 12.4%

أصدر مشروع llama.cpp الإصدار b10427، الذي يتضمن تحسينًا للأداء لوحات Intel Arc الرسومية عبر SYCL. يطبق التحديث دمج عمليات gate و up و GLU داخل طبقة الشبكة العصبية الأمامية الكثيفة (FFN) من نوع q4_K.

github llama.cpp · منذ 8 ساعة · مشاهدة واحدة

llama.cpp b10425 يدمج كتابة حالة gated-delta-net للخلف للحصول على تسريع بنسبة +1.2%

أصدر مشروع llama.cpp الإصدار b10425، والذي يتضمن منفذًا لتحسين SYCL لدمج نسخة كتابة حالة gated-delta-net للخلف.

arxiv arXiv cs.CL · منذ 11 ساعة

تقليل ضرب المصفوفات: اختزال حاصل ضرب المصفوفات المتكيف مع الإدخال لاستدعاء النماذج اللغوية الكبيرة

يقترح الباحثون طريقة استدعاء تكيفية مع الإدخال وخالية من التدريب تُسمى تقليل ضرب المصفوفات (RMM)، والتي تقلل حاصل ضرب مصفوفات المحولات عن طريق اختيار شرائح ذات معلوماتية عالية على طول أبعاد الانكماش دون تعديل أوزان النموذج. تحت تحكم بسيط بنسبة الاحتفاظ، يوفر RMM مقايضة سلسة ومتوقعة بين الدقة والكفاءة عبر نماذج لغوية تتراوح من 1 مليار إلى 70 مليار معامل.

github llama.cpp · منذ 16 ساعة

يضيف llama.cpp b10418 دعم ذاكرة المضيف المثبتة لـ SYCL

أصدر مشروع llama.cpp الإصدار b10418، مقدمًا دعمًا لذاكرة المضيف المثبتة لتحسين وصول المضيف إلى الجهاز في SYCL. يعالج هذا التحديث مشكلات أمان الخيوط داخل تنفيذ الخلفية.