github llama.cpp · منذ 1 ساعة · inference

يضيف llama.cpp b10638 دعم Vulkan لـ cross_entropy_loss ويصدر الملفات الثنائية

مُترجم من English → العربية

أطلق مشروع llama.cpp الإصدار b10638، الذي يطبق دعم Vulkan لدالتي `cross_entropy_loss` و `cross_entropy_loss_back`.

تتضمن الإصدارة ملفات ثنائية مُعدة مسبقًا لأنظمة macOS (Apple Silicon وIntel)، وLinux (Ubuntu x64، arm64، s390x)، وWindows (x64 وarm64)، وAndroid (arm64)، وopenEuler.
تسريع وحدة معالجة الرسومات متاح عبر Vulkan، وCUDA (12.4، 13.3، 13.4 preview)، وROCm 7.14، وOpenCL Adreno، وSYCL، وOpenVINO على المنصات المدعومة.
تم تعطيل تجميعات macOS Apple Silicon مع KleidiAI حاليًا في هذه الإصدارة.
يتم أيضًا توفير حزمة واجهة مستخدم محدثة إلى جانب الملفات الثنائية الأساسية.

الأهمية 1/3 الموثوقية 1/3 llama.cpp Inference efficiency

llama.cpp b10639 يصلح افتراض حجم warptile في Vulkan

أصدر مشروع llama.cpp الإصدار b10639، والذي يتضمن إصلاحًا لخلفية Vulkan حيث كانت warptiles تفترض سابقًا أن أحجام warp أقل من أو تساوي 64. يحد هذا التغيير من حجم warp للتغلب على المشكلات مع warps الأكبر.

media Hugging Face Forums · منذ 2 ساعة · مشاهدة واحدة

يصلح Celestium Neon مشكلة الذاكرة غير الكافية (OOM) في SDXL على وحدات معالجة الرسومات بسعة 4 جيجابايت عن طريق تنظيف ذاكرة الفيديو

Celestium Neon هو أداة جديدة مصممة لتنظيف ذاكرة الفيديو (VRAM) وتمكين الاستدلال الخاص بـ Stable Diffusion XL (SDXL) على بطاقات الرسومات التي تحتوي فقط على 4 جيجابايت من الذاكرة، مثل GTX 1650.

github llama.cpp · منذ 5 ساعة · مشاهدة واحدة

llama.cpp b10636 يعطل بناء واجهة npm افتراضيًا وينظف CI

أصدر مشروع llama.cpp الإصدار b10636، الذي يغير السلوك الافتراضي عند بناء الواجهة الويب. تم تعطيل بناء واجهة npm الآن بشكل افتراضي (LLAMA_BUILD_UI=OFF)، ويتم تضمين الواجهة بدلاً من ذلك من المصادر المحلية أو التنزيلات المبنية مسبقًا.

github llama.cpp · منذ 6 ساعة · مشاهدة واحدة

llama.cpp b10635 يفتح mmq لـ MoE على sm_60

أصدر مشروع llama.cpp الإصدار b10635، والذي يتضمن تحديثات محددة لدعم CUDA. التغيير الرئيسي هو فتح الضرب المصفوفي بدقة مختلطة (mmq) لهندسة Mixture of Experts (MoE) على وحدات معالجة الرسومات ذات القدرة الحسابية 6.0 (sm_60).

media Hugging Face Forums · منذ 8 ساعة · مشاهدة واحدة

إيدج فيرست تنشر خط أنابيب روست للتحقق من نماذج YOLO على 20 منصة طرفية

أصدرت إيدج فيرست مكتبة EdgeFirst Model Zoo على Hugging Face، والتي تتضمن نماذج YOLOv5 وYOLOv8 وYOLO11 وYOLO26 التي خضعت للتحقق عبر 20 منصة طرفية متميزة. يعتمد التحقق على خط أنابيب روست واحد يتعامل مع المعالجة المسبقة لنقل الذاكرة المباشرة بدون نسخ، وفك تشفير النموذج، والمعالجة اللاحقة مباشرةً على العتاد المستهدف.