github llama.cpp · منذ 1 ساعة · inference

llama.cpp b10198 يضيف دعم Vulkan للدمج الكمي

مُترجم من English → العربية

أصدر مشروع llama.cpp الإصدار b10198، الذي يقدم دعمًا لعمليات الدمج الكمي داخل الخلفية البرمجية Vulkan.

التحديث التقني الأساسي هو إضافة دعم Vulkan للدمج الكمي (quantized concat)، والذي تم تنفيذه في طلب السحب #25684.
تم تعطيل إصدارات macOS Apple Silicon مع KleidiAI صراحةً في هذا الإصدار.
يتم توفير ملفات ثنائية لمنصات متعددة بما في ذلك macOS (Apple Silicon و Intel)، Linux (Ubuntu x64، arm64، s390x)، Windows (CPU، CUDA 12/13، Vulkan، ROCm، OpenVINO، SYCL، HIP)، Android، و openEuler.
يتضمن حزمة الإصدار أيضًا ملفًا ثنائيًا لواجهة المستخدم المستقلة.

الأهمية 1/3 الموثوقية 1/3 llama.cpp Inference efficiency Local inference

llama.cpp b10180 يضيف مسارًا سريعًا متجاورًا ورياضيات فهرس 32 بت لعمليات SYCL الأحادية

أصدر مشروع llama.cpp الإصدار b10180، مقدمًا تحسينات للأداء لخلفية SYCL. تنفذ التحديث مسارًا سريعًا متجاورًا ويحول حساب فهرس العنصر عن طريق العنصر لاستخدام fastdiv مع أعداد صحيحة 32 بت.

github llama.cpp · منذ 3 يوم · 3 مشاهدات

إضافة llama.cpp b10155 دعم الصوت MiMo-V2.5

أصدر مشروع llama.cpp الإصدار b10155، الذي يقدم دعمًا لنموذج إدخال الصوت MiMo-V2.5. يتضمن هذا التحديث محول GGUF للصوت MiMo وينفذ منطق الخلفية بلغة C++ الضروري للتعامل مع نماذج الصوت القائمة على RVQ.

github llama.cpp · منذ 3 يوم · مشاهدتان

llama.cpp b10150 يعدل منطق الإرسال ggml ويصلح رسم dsv4

أصدر مشروع llama.cpp الإصدار b10150، والذي يتضمن تعديلات على منطق ggml لعمليات الإرسال إلى الخلفية الخاصة بالأوزان. يعالج هذا التحديث أيضًا إصلاحات لرسم llama dsv4.

media Hugging Face Forums · منذ 3 يوم · مشاهدتان

تضيف TraceML استدعاء Trainer من Hugging Face لتشخيص اختناقات تحميل البيانات

قام المؤلف بدمج أداة تشخيص في TraceML، وهو مشروع مفتوح المصدر لمراقبة PyTorch، لمساعدة المستخدمين على التمييز بين مشاكل أداء التدريب المحدودة بحوسبة GPU والمحدودة بالإدخال. تتيح هذه الميزة الجديدة للمطورين تحديد ما إذا كان انخفاض استخدام GPU ناتجًا عن تحميل البيانات البطيء أم حدود حوسبة النموذج الفعلية.

github llama.cpp · منذ 3 يوم · 6 مشاهدات

آرون تييو يضيف حجة -lm mlock إلى llama.cpp

قدم آرون تييو تغييراً إلى مستودع llama.cpp يُدخل حجة جديدة في سطر الأوامر وهي `-lm mlock`. يتيح هذا الإضافة للمستخدمين قفل الذاكرة بشكل صريح في المناطق التي يقوم فيها الكود بتنفيذ عمليات `mlock` دون استخدام `mmap`.