github llama.cpp · منذ 1 يوم · inference

يضيف llama.cpp b11095 GATED_DELTA_NET المحسّن لـ HMX ويقلل من قراءات DDR

مُترجم من English → العربية

تُقدم إصدار llama.cpp b11095 تنفيذًا جديدًا لـ GATED_DELTA_NET (GDN) محسّنًا لـ HMX، جنبًا إلى جنب مع تحسينات مختلفة لأنوية Hexagon و Flash Attention.

يتضمن دعم GDN التسلسل، وتوجيه HVX، والعمليات المتجهة لتحسين الأداء على شرائح Qualcomm.
تقلل تحديثات Flash Attention من قراءات DDR بنسبة 20-30٪ أثناء توليد الرموز من خلال التراكم في السجلات وتحسينات تسلسل DMA.
يوفر الإصدار ملفات ثنائية لنظامي macOS و Linux و Windows و Android و openEuler عبر خلفيات CPU و CUDA و ROCm و Vulkan و OpenVINO.

يعزز هذا التحديث كفاءة الاستدلال على بنية الأجهزة المحددة مع الحفاظ على توافق واسع مع بيئات النشر الحالية.

الأهمية 1/3 الموثوقية 1/3 llama.cpp Inference efficiency

قراءة الأصل

llama.cpp b11122 يوسع دمج MMVQ GLU ويضيف دمجات SYCL جديدة

أطلق مشروع llama.cpp الإصدار b11122، والذي يتضمن تحديثات كبيرة للخلفية SYCL. يوسع هذا الإصدار دمج MMVQ GLU لدعم أنواع الكم المختلطة ويقدم دمجات جديدة لعمليات rms_norm+scale و ssm_conv+silu.

github llama.cpp · منذ 1 ساعة · 11 مشاهدة مباشر

يخفي llama.cpp b11120 الرموز الداخلية لـ Vulkan لإصلاح تدمير الحالة

أصدر مشروع llama.cpp الإصدار b11120، الذي يعالج خطأً حرجاً في الخلفية البرمجية لـ Vulkan من خلال إخفاء الرموز الداخلية. يمنع هذا التغيير مشاكل تدمير حالة dlopen المزدوج التي حدثت عندما كانت الرموز الداخلية مُصدَّرة.

arxiv arXiv cs.AI · منذ 4 ساعة · 9 مشاهدات

يقلل CliffCompaction تكاليف وكلاء البرمجة بنسبة 50% مع الحفاظ على الأداء

يقدم الباحثون تقنية CliffCompaction، وهي طريقة ضغط تلقائي مصممة لتخفيض التكاليف لوكلاء البرمجة طويلي المدى بنسبة تصل إلى 50% ضمن سياق محدود. تحافظ الطريقة على الأداء أو تحسّنه في Terminal-Bench وتحقق نتائج متقدمة في KernelBench من خلال الحفاظ على دقة المعلومات المضغوطة عبر الاقتطاع بدلاً من إعادة الصياغة.

arxiv arXiv cs.LG · منذ 5 ساعة · 9 مشاهدات

يقلل CliffCompaction تكاليف وكلاء البرمجة طويلة المدى بنسبة تصل إلى 50% مع الحفاظ على الأداء

يقدم الباحثون تقنية CliffCompaction، وهي طريقة ضغط ذاتي مصممة للوكلاء الذين يتعاملون مع ملايين الرموز (tokens)، مما يقلل التكاليف بنسبة تصل إلى 50% ضمن سياق محدود. تحافظ الطريقة على الأداء أو تحسّنه في Terminal-Bench وتحقق نتائج رائدة في KernelBench من خلال الحفاظ على دقة المعلومات عبر الاقتطاع بدلاً من إعادة الصياغة.

github llama.cpp · منذ 6 ساعة · 13 مشاهدة

llama.cpp b11118 يقدم ذاكرة تخزين مؤقتة لنقل الذاكرة المباشرة لمعالجة قناع HVX FA

أصدر مشروع llama.cpp الإصدار b11118، الذي يتضمن ميزة hex-dma جديدة تقدم ذاكرة تخزين مؤقتة لنقل الذاكرة المباشرة (DMA) أكثر ملاءمةً لمعالجة قناع HVX FA الخاص بـ Hexagon Vector eXtended.