github llama.cpp · منذ 1 ساعة · inference

llama.cpp b11463 يسرع ملء GLM MLA الأولي باستخدام MKL flash attention

مُترجم من English → العربية

يتضمن إصدار llama.cpp b11463 تحديثًا لـ SYCL يمكّن من استخدام MKL flash attention للشكل المحدد لـ Multi-Latent Attention (MLA) الخاص بـ GLM-4.7 Flash، والذي كان مرفوضًا سابقًا بواسطة الموزع.

يقبل التغيير شكل 576/576/512 GQA-20 F16 في خط أنابيب MKL ويعالج V cache كعرض متدرج لصفوف K.
شمل محاولة لتخزين نتائج MKL flash attention بتنسيق F16 لتقليل حركة مرور الذاكرة، ولكن تم التراجع عنها لاحقًا في هذا البناء.
على جهاز Intel Arc Pro B70، حسّنت تحسين MLA معالجة الطلب (pp8192) من 432.80 إلى 1292.29 tok/s، مما يمثل تسريعًا بنسبة 2.99x.
يوفر الإصدار ملفات ثنائية لنظامي macOS وLinux وWindows وAndroid وopenEuler عبر الخلفيات CPU وCUDA وROCm وVulkan وOpenVINO وSYCL.

الأهمية 1/3 الموثوقية 1/3 llama.cpp Hugging Face Inference efficiency Local inference

قراءة الأصل

llama.cpp b11413 يضيف انتباه فلاش متناثر عبر Vulkan للـ K/V المُكمَّاة

تقدم إصدار b11413 من llama.cpp تنفيذًا جديدًا للانتباه الفلاش المتناثر عبر Vulkan يدعم موترات المفتاح والقيمة المُكمَّاة. يعالج هذا التحديث مشكلات الأداء في طريقة الانضغاط السابقة، التي كانت مكلفة للغاية لمهام فك التشفير ذات نوافذ السياق الكبيرة.

github llama.cpp · منذ 7 يوم · 44 مشاهدة

يضيف llama.cpp دعم GLM-5.3-Flash مع إصلاحات k-pool و MTP

أضاف مشروع llama.cpp الدعم الأولي لهندسة نموذج GLM-5.3-Flash (GLM5-Next)، بما في ذلك الانتقال إلى ذاكرة الفهرس الهجين وقدرات التنبؤ متعدد الرموز (MTP) المبكرة.

github llama.cpp · منذ 10 يوم · 33 مشاهدة

إضافة llama.cpp b11207 دعم GET_ROWS المقطّع لـ Q4_0 و Q8_0 لـ Hexagon

أصدر مشروع llama.cpp الإصدار b11207، الذي يقدم دعمًا لعمليات GET_ROWS المقطعة بـ Q4_0 و Q8_0 على الخلفية الخلفية لـ Hexagon. يتضمن هذا التحديث أيضًا إصلاحات للماكرو، وتدفق التسجيلات، وخط أنابيب DMA، بالإضافة إلى تحسينات في منطق اختيار النواة وإعادة تمكين التوجيه المتجهي.

github llama.cpp · منذ 14 يوم · 47 مشاهدة

إضافة llama.cpp v0.5.0 دعم HRM-Text وتسريع CUDA conv2d وربط عناوين متعددة

أصدر مشروع llama.cpp الإصدار 0.5.0، مع التركيز على أداء الخلفية، وتغطية أوسع للنماذج، وتشغيل خادم أكثر متانة. يقدم هذا التحديث دعمًا لهندسات جديدة مثل HRM-Text (DFM Mimir 1B) وMiMo-V2.6، بينما يعزز بشكل كبير الكفاءة الحسابية من خلال تحسينات CUDA وMetal.

github llama.cpp · منذ 14 يوم · 53 مشاهدة

llama.cpp b11122 يوسع دمج MMVQ GLU ويضيف دمجات SYCL جديدة

أطلق مشروع llama.cpp الإصدار b11122، والذي يتضمن تحديثات كبيرة للخلفية SYCL. يوسع هذا الإصدار دمج MMVQ GLU لدعم أنواع الكم المختلطة ويقدم دمجات جديدة لعمليات rms_norm+scale و ssm_conv+silu.