github llama.cpp · الآن · inference

يضيف llama.cpp b10642 تتبع معرف الرمز إلى خلية KV

مُترجم من English → العربية

أصدر مشروع llama.cpp الإصدار b10642، الذي يقدم تغييرًا لتتبع معرفات الرموز داخل خلية المفتاح-القيمة (KV).

تتضمن التحديث الأساسي إضافة تتبع معرف الرمز إلى تنفيذ خلية KV.
تمت إزالة الدالة `get_prev_tokens` من هذا الالتزام المحدد ونقلها إلى طلب السحب الرئيسي #27762.
يتم توفير الملفات الثنائية لأنظمة macOS (Apple Silicon و Intel)، و iOS، و Linux (CPU، Vulkan، ROCm، OpenVINO، SYCL)، و Android، و Windows (CPU، CUDA 12/13، Vulkan، OpenCL، ROCm، SYCL)، و openEuler.

يوفر هذا الإصدار ملفات ثنائية محدثة عبر منصات متعددة مع التعديل الداخلي لخلية KV.

الأهمية 1/3 الموثوقية 1/3 llama.cpp Inference efficiency

قراءة الأصل

يضيف llama.cpp b10638 دعم Vulkan لـ cross_entropy_loss ويصدر الملفات الثنائية

أطلق مشروع llama.cpp الإصدار b10638، الذي يطبق دعم Vulkan لدالتي `cross_entropy_loss` و `cross_entropy_loss_back`.

github llama.cpp · منذ 5 ساعة · مشاهدتان

llama.cpp b10639 يصلح افتراض حجم warptile في Vulkan

أصدر مشروع llama.cpp الإصدار b10639، والذي يتضمن إصلاحًا لخلفية Vulkan حيث كانت warptiles تفترض سابقًا أن أحجام warp أقل من أو تساوي 64. يحد هذا التغيير من حجم warp للتغلب على المشكلات مع warps الأكبر.

media Hugging Face Forums · منذ 6 ساعة · مشاهدة واحدة

يصلح Celestium Neon مشكلة الذاكرة غير الكافية (OOM) في SDXL على وحدات معالجة الرسومات بسعة 4 جيجابايت عن طريق تنظيف ذاكرة الفيديو

Celestium Neon هو أداة جديدة مصممة لتنظيف ذاكرة الفيديو (VRAM) وتمكين الاستدلال الخاص بـ Stable Diffusion XL (SDXL) على بطاقات الرسومات التي تحتوي فقط على 4 جيجابايت من الذاكرة، مثل GTX 1650.

github llama.cpp · منذ 9 ساعة · مشاهدتان

llama.cpp b10636 يعطل بناء واجهة npm افتراضيًا وينظف CI

أصدر مشروع llama.cpp الإصدار b10636، الذي يغير السلوك الافتراضي عند بناء الواجهة الويب. تم تعطيل بناء واجهة npm الآن بشكل افتراضي (LLAMA_BUILD_UI=OFF)، ويتم تضمين الواجهة بدلاً من ذلك من المصادر المحلية أو التنزيلات المبنية مسبقًا.

github llama.cpp · منذ 11 ساعة · مشاهدة واحدة

llama.cpp b10635 يفتح mmq لـ MoE على sm_60

أصدر مشروع llama.cpp الإصدار b10635، والذي يتضمن تحديثات محددة لدعم CUDA. التغيير الرئيسي هو فتح الضرب المصفوفي بدقة مختلطة (mmq) لهندسة Mixture of Experts (MoE) على وحدات معالجة الرسومات ذات القدرة الحسابية 6.0 (sm_60).