github llama.cpp · منذ 4 يوم · inference

llama.cpp b11227 يحوّل causal_attn لتحسين الاستدلال البصري

مُترجم من English → العربية

أصدر مشروع llama.cpp الإصدار b11227، الذي يتضمن تحسينات للأداء تستهدف بشكل خاص التعامل مع العلم `causal_attn` أثناء المعالجة متعددة الوسائط.

لم يعد المجدول يعيد حجز الذاكرة عند تبديل `causal_attn`، مما يلغي العمليات المكلفة التي كانت تبطئ المدخلات البصرية للنماذج مثل Gemma.
أصبح شكل الانحرم لمؤشر qwen4exp الآن مستقلاً عن `causal_attn`، مما يمنع فشل إعادة تخصيص المخزن المؤقت تحت قيود `GGML_SCHED_NO_REALLOC`.
أظهرت الاختبارات على llama-server مع gemma-4-26B-A4B انخفاضاً كبيراً في زمن الوصول، مثل تسريع بنسبة 7.61x لـ 24 صورة على RTX 4090 ووصولاً إلى 3.40x على H200 مع إعدادات سياق كبيرة.

تحسّن هذه التغييرات سرعة الاستدلال لإدخالات الصور المتعددة والفيديو دون تغيير المخرجات المولدة أو سلوك إعادة بناء الرسم البياني.

الأهمية 1/3 الموثوقية 1/3 llama.cpp Inference efficiency Local inference

قراءة الأصل

مقالات ذات صلة

media Hugging Face Forums · الآن · مشاهدة واحدة مباشر

AiiStream Q3.6 يتيح تشغيل Qwen3.6-35B-A3B على أجهزة ماك بسعة ذاكرة 8-16 جيجابايت

أصدر المؤلف AiiStream Q3.6، وهي تقنية مفتوحة المصدر تتيح تشغيل نموذج Qwen3.6-35B-A3B على أجهزة Apple Silicon بذاكرة وصول عشوائي تتراوح بين 8 إلى 16 جيجابايت فقط. من خلال الحفاظ على الخبراء الموجهين على وحدة تخزين الحالة الصلبة (SSD) واستخدام تنبؤات التحميل المبكر، تقلل الطريقة استخدام ذاكرة MLX إلى حوالي 1.7 جيجابايت مع الحفاظ على مخرجات مطابقة تماماً على مستوى البايت مقارنةً بالتنفيذ القياسي لـ mlx_lm.

github llama.cpp · منذ 22 ساعة · مشاهدة واحدة

llama.cpp b11307 يحافظ على ترتيب الدفعة للترميز التنبؤي

أصدر مشروع llama.cpp الإصدار b11307، الذي يصلح ترتيب إدخال الطبقات للحفاظ على تسلسل الدفعة الأصلي أثناء الترميز التنبؤي. يضمن هذا التغيير الحفاظ على ترتيب الرموز بشكل صحيح للتضمينات غير المقنعة NextN والتوافق مع تقسيمات الأوتار.

github llama.cpp · منذ 1 يوم · مشاهدة واحدة

يصلح llama.cpp b11301 تجاوز السليم في ggml/gguf

أصدر مشروع llama.cpp الإصدار b11301، والذي يتضمن إصلاحًا لمشكلة تجاوز السليم داخل مكونات ggml و gguf. يعالج هذا التحديث منطق التحقق لمنع الأخطاء المحتملة عند التعامل مع موترات ذات صفر عنصر.

github llama.cpp · منذ 1 يوم · 3 مشاهدات

إصلاح llama.cpp b11302 لسباق البيانات في ThreadSanitizer داخل الفهرس المتناثر

أصدر مشروع llama.cpp الإصدار b11302، الذي يعالج مشكلة توافق حرجة تم تحديدها بواسطة ThreadSanitizer في خط أنابيب الاختبار المستمر (CI). يحل التحديث سباق بيانات داخل آلية الانتباه المتناثر حيث كانت خيوط المعالج المركزي متعددة تكتب بشكل غير صحيح في نفس عناصر الذاكرة.

github llama.cpp · منذ 1 يوم · مشاهدتان

يضيف llama.cpp b11298 دعمًا لتنسيق dflash للتحويل واستخراج الميزات

أصدر مشروع llama.cpp الإصدار b11298، الذي يقدم دعمًا لتنسيق dflash. يتيح هذا التحديث كلًا من تحويل النماذج إلى هذا التنسيق وقدرات استخراج الميزات اللاحقة.