github llama.cpp · الآن · inference

يضيف llama.cpp b10164 ضرب مصفوفات SSD المقطّع لتسريع مرحلة التعبئة المسبقة لـ Mamba-2

مُترجم من English → العربية

أصدر مشروع llama.cpp الإصدار b10164، مقدمًا تنفيذًا جديدًا لضرب المصفوفات SSD المقطّع مصممًا لتسريع مرحلة التعبئة المسبقة لنماذج Mamba-2.

ggml-cuda: إضافة ضرب مصفوفات SSD المقطّع لتسريع التعبئة المسبقة لـ Mamba-2
إصلاحات دقة CUDA SSD عن طريق ترقية s0_stride_seq إلى int64_t وتحسين التجميع الذاكري في ssm_ssd_prepare_dt_kernel
تجسيد مدمج لمصفوفة M في النواة pre_matmul
إصلاح سباق القراءة-الكتابة sdata في حلقة المسح الاحتياطية لـ prepare_dt
إضافة إصلاحات CICD لـ SSD لكل من CUDA و HIP و MUSA و MSVC

يوفر هذا التحديث نوى GPU محسّنة للبنى المعمارية المحددة لنماذج الفضاء الحالة مع الحفاظ على توافق واسع عبر الخلفيات CPU و Vulkan و ROCm و OpenVINO و SYCL.

الأهمية 1/3 الموثوقية 1/3 llama.cpp Hugging Face Inference efficiency

قراءة الأصل

مقالات ذات صلة

github llama.cpp · منذ 4 ساعة · مشاهدة واحدة

llama.cpp b10159 يضيف نواة FWHT للخلفية المعدنية

أصدر مشروع llama.cpp الإصدار b10159، الذي يقدم نواة تحويل والتش-هادامارد السريع (FWHT) للخلفية المعدنية. يتضمن هذا التحديث تفاصيل التنفيذ قيد التقدم بالإضافة إلى حواجز الشكل وتعديلات تنسيق الكود.

github llama.cpp · منذ 6 ساعة · مشاهدتان

يضيف llama.cpp b10158 دعم eagle3-v3 لنموذج gpt-oss

أصدر مشروع llama.cpp الإصدار b10158، الذي يقدم دعمًا لهندسة eagle3-v3 داخل نموذج gpt-oss.

github llama.cpp · منذ 5 يوم · مشاهدتان

تحديث llama.cpp b10098 لعمليات تنشيط Hexagon

أصدر مشروع llama.cpp الإصدار b10098، والذي يتضمن تحديثًا لعمليات تنشيط Hexagon. يوفر هذا الإصدار ملفات ثنائية لأنظمة macOS و Linux و Android و Windows و openEuler عبر خلفيات مختلفة لوحدة المعالجة المركزية ووحدة معالجة الرسومات.

lab Hugging Face Blog · منذ 5 يوم · مشاهدة واحدة

يضيف Diffusers دعمًا أصليًا لاستدلال Nunchaku Lite بدقة 4 بت

يدعم Hugging Face Diffusers الآن تحميل نقاط تفتيش Nunchaku Lite بشكل أصلي عبر `from_pretrained()`، مما يلغي الحاجة إلى محرك استدلال منفصل أو ترجمة CUDA محلية. تستفيد هذه التكاملات من طريقة SVDQuant لتشغيل طبقات المحوّل بأوزان وتنشيطات بدقة 4 بت (W4A4)، مما يقلل بشكل كبير من استخدام الذاكرة مع تحسين سرعة الاستدلال.

github llama.cpp · منذ 6 يوم · مشاهدة واحدة

يضيف llama.cpp b10089 دعمًا كاملاً لـ k-quant و i-quant إلى CUDA GET_ROWS

يوسع إصدار llama.cpp b10089 عمليات CUDA GET_ROWS لدعم تنسيقات الكمية k-quants و i-quants و mxfp4. يضمن هذا التغيير أن جميع أنواع GGML المكمّاة يمكنها الآن استخدام المسار المباشر للجهاز لعمليات البحث عن التضمين.