github llama.cpp · منذ 1 ساعة · inference

يسمح llama.cpp b10430 بأجهزة igpu الافتراضية

مُترجم من English → العربية

أصدر مشروع llama.cpp الإصدار b10430، الذي يقدم دعمًا لأجهزة GPU المتكاملة (igpu) الافتراضية. يتضمن هذا التحديث أيضًا تعليقات محسّنة داخل قاعدة الشفرة.

يوفر هذا الإصدار ملفات ثنائية وأطر عمل لأنظمة macOS (Apple Silicon وIntel)، وiOS، وLinux (Ubuntu مع CPU، وVulkan، وOpenVINO، وSYCL، وROCm المعطّل)، وAndroid، وWindows (CPU، وCUDA 12/13، وVulkan، وOpenVINO، وSYCL، وROCm 7.14)، وبنية openEuler.

يتيح هذا التحديث للمستخدمين تشغيل llama.cpp على الأنظمة التي تستخدم تكوينات igpu الافتراضية عبر مجموعة واسعة من أنظمة التشغيل ومسرعات الأجهزة.

الأهمية 1/3 الموثوقية 1/3 llama.cpp Inference efficiency

قراءة الأصل

يسمح llama.cpp b10429 بالوصول إلى /metrics و /slots أثناء تنفيذ llama_decode()

أصدر مشروع llama.cpp الإصدار b10429، الذي يعدل الخادم للسماح بالوصول إلى نقاط النهاية /metrics و /slots أثناء تنفيذ llama_decode().

github llama.cpp · منذ 6 ساعة

دمج llama.cpp b10427 لعمليات FFN عبر SYCL لتحقيق زيادة في الإنتاجية تصل إلى 12.4%

أصدر مشروع llama.cpp الإصدار b10427، الذي يتضمن تحسينًا للأداء لوحات Intel Arc الرسومية عبر SYCL. يطبق التحديث دمج عمليات gate و up و GLU داخل طبقة الشبكة العصبية الأمامية الكثيفة (FFN) من نوع q4_K.

github llama.cpp · منذ 7 ساعة · مشاهدة واحدة

llama.cpp b10425 يدمج كتابة حالة gated-delta-net للخلف للحصول على تسريع بنسبة +1.2%

أصدر مشروع llama.cpp الإصدار b10425، والذي يتضمن منفذًا لتحسين SYCL لدمج نسخة كتابة حالة gated-delta-net للخلف.

arxiv arXiv cs.CL · منذ 10 ساعة

تقليل ضرب المصفوفات: اختزال حاصل ضرب المصفوفات المتكيف مع الإدخال لاستدعاء النماذج اللغوية الكبيرة

يقترح الباحثون طريقة استدعاء تكيفية مع الإدخال وخالية من التدريب تُسمى تقليل ضرب المصفوفات (RMM)، والتي تقلل حاصل ضرب مصفوفات المحولات عن طريق اختيار شرائح ذات معلوماتية عالية على طول أبعاد الانكماش دون تعديل أوزان النموذج. تحت تحكم بسيط بنسبة الاحتفاظ، يوفر RMM مقايضة سلسة ومتوقعة بين الدقة والكفاءة عبر نماذج لغوية تتراوح من 1 مليار إلى 70 مليار معامل.

github llama.cpp · منذ 15 ساعة

يضيف llama.cpp b10418 دعم ذاكرة المضيف المثبتة لـ SYCL

أصدر مشروع llama.cpp الإصدار b10418، مقدمًا دعمًا لذاكرة المضيف المثبتة لتحسين وصول المضيف إلى الجهاز في SYCL. يعالج هذا التحديث مشكلات أمان الخيوط داخل تنفيذ الخلفية.