github llama.cpp · منذ 3 ساعة · inference

llama.cpp b10180 يضيف مسارًا سريعًا متجاورًا ورياضيات فهرس 32 بت لعمليات SYCL الأحادية

مُترجم من English → العربية

أصدر مشروع llama.cpp الإصدار b10180، مقدمًا تحسينات للأداء لخلفية SYCL. تنفذ التحديث مسارًا سريعًا متجاورًا ويحول حساب فهرس العنصر عن طريق العنصر لاستخدام fastdiv مع أعداد صحيحة 32 بت.

SYCL: مسار سريع متجاور + حساب فهرس 32 بت لعمليات العنصر عن طريق العنصر الأحادية
SYCL: استخدام fastdiv لحساب فهرس العنصر عن طريق العنصر

يوفر هذا الإصدار ملفات ثنائية لأنظمة macOS وLinux وWindows وAndroid وopenEuler على معالجات CPU وGPU وخلفيات مسرعات مختلفة.

الأهمية 1/3 الموثوقية 1/3 llama.cpp Inference efficiency Local inference

قراءة الأصل

إضافة llama.cpp b10155 دعم الصوت MiMo-V2.5

أصدر مشروع llama.cpp الإصدار b10155، الذي يقدم دعمًا لنموذج إدخال الصوت MiMo-V2.5. يتضمن هذا التحديث محول GGUF للصوت MiMo وينفذ منطق الخلفية بلغة C++ الضروري للتعامل مع نماذج الصوت القائمة على RVQ.

github llama.cpp · منذ 2 يوم · مشاهدتان

llama.cpp b10150 يعدل منطق الإرسال ggml ويصلح رسم dsv4

أصدر مشروع llama.cpp الإصدار b10150، والذي يتضمن تعديلات على منطق ggml لعمليات الإرسال إلى الخلفية الخاصة بالأوزان. يعالج هذا التحديث أيضًا إصلاحات لرسم llama dsv4.

media Hugging Face Forums · منذ 2 يوم · مشاهدتان

تضيف TraceML استدعاء Trainer من Hugging Face لتشخيص اختناقات تحميل البيانات

قام المؤلف بدمج أداة تشخيص في TraceML، وهو مشروع مفتوح المصدر لمراقبة PyTorch، لمساعدة المستخدمين على التمييز بين مشاكل أداء التدريب المحدودة بحوسبة GPU والمحدودة بالإدخال. تتيح هذه الميزة الجديدة للمطورين تحديد ما إذا كان انخفاض استخدام GPU ناتجًا عن تحميل البيانات البطيء أم حدود حوسبة النموذج الفعلية.

github llama.cpp · منذ 2 يوم · 6 مشاهدات

آرون تييو يضيف حجة -lm mlock إلى llama.cpp

قدم آرون تييو تغييراً إلى مستودع llama.cpp يُدخل حجة جديدة في سطر الأوامر وهي `-lm mlock`. يتيح هذا الإضافة للمستخدمين قفل الذاكرة بشكل صريح في المناطق التي يقوم فيها الكود بتنفيذ عمليات `mlock` دون استخدام `mmap`.

github llama.cpp · منذ 6 يوم · مشاهدة واحدة

إصلاح llama.cpp b10093 لقالب DeepSeek v4 وإضافة علم drop_reasoning

أصدر مشروع llama.cpp الإصدار b10093، والذي يتضمن تحديثات محددة لدعم نماذج DeepSeek v4. يعالج هذا الإصدار التعامل مع القوالب ويقدم أعلام تكوين جديدة لعائلة النماذج هذه.