github llama.cpp · الآن · inference

يقوم llama.cpp b10921 بمحاذاة روابط موتر WebGPU حسب حجم الكتلة

مُترجم من English → العربية

أصدر مشروع llama.cpp الإصدار b10921، والذي يتضمن إصلاحًا لـ WebGPU من خلال محاذاة روابط الموترات مع حجم كتلة النوع. يضمن هذا التغيير أن المشاهدات الكمية للكتل تتلقى إزاحة عنصر صالحة في الشيدر عن طريق الرجوع إلى الوراء عبر إزاحة الرابط حتى تصبح المسافة إلى الموتر عددًا صحيحًا من الكتل.

يوفر الإصدار ملفات ثنائية وأطر عمل لنظام macOS (Apple Silicon و Intel) و iOS و Linux (Ubuntu مع خلفيات CPU و Vulkan و ROCm و OpenVINO و SYCL) و Android و Windows (CPU و CUDA 12/13 و Vulkan و OpenVINO و SYCL و ROCm) و openEuler.

يضمن هذا التحديث التعامل الصحيح مع الموترات في شيفرات WebGPU مع الحفاظ على الدعم عبر مجموعة واسعة من بنية الأجهزة وتنفيذات الخلفيات.

الأهمية 1/3 الموثوقية 1/3 llama.cpp Inference efficiency Local inference

قراءة الأصل

مقالات ذات صلة

github llama.cpp · منذ 23 ساعة · مشاهدة واحدة

llama.cpp b10906 يصلح التخمين بعد صورة في الخادم

أصدر مشروع llama.cpp الإصدار b10906، الذي يتضمن إصلاحًا لمكون الخادم فيما يتعلق بالتخمين بعد مدخلات الصور. يضمن التغيير تمرير الموقع الفعلي إلى المُعد بدلاً من عدد الرموز، مما يؤثر على جميع المعدّين وليس فقط DFlash.

github llama.cpp · منذ 2 يوم · 3 مشاهدات

إضافة llama.cpp b10899 تحسينات Vulkan لـ Qwen ودعم split_k

أصدر مشروع llama.cpp الإصدار b10899، مقدمًا تحسينات أداء محددة في الخلفية الخاصة بـ Vulkan. يركز التحديث على تحسين عمليات المصفوفات لعائلة نماذج Qwen وتعزيز الأداء العام مع قيم M الصغيرة.

github llama.cpp · منذ 2 يوم · 4 مشاهدات

إصلاح llama.cpp b10896 لفشل فك ترميز DFlash مع نماذج الرؤية

أصدر مشروع llama.cpp الإصدار b10896، الذي يعالج مشكلة حرجة حيث فشلت ذاكرة المسودة في تخصيص رموز جديدة عند استخدام DFlash مع نماذج الرؤية. حدث هذا الفشل لأن الصور أفادت بإزاحة ثابتة، مما منع التخصيص الصحيح للرموز.

github llama.cpp · منذ 4 يوم · مشاهدتان

llama.cpp يعطل تحميل الموترات المتأخر افتراضياً على وحدات معالجة الرسومات المتكاملة

قام مشروع llama.cpp بتعطيل تحميل الموترات المتأخر افتراضياً لوحدة معالجة الرسومات المتكاملة (iGPU) في الإصدار b10867. يعالج هذا التغيير تراجعاً تم إدخاله في إعداد وضع "AUTO" السابق.

github llama.cpp · منذ 4 يوم · 5 مشاهدات

إصلاح llama.cpp b10864 لإخلاء نقاط التفتيش للنماذج الهجينة

أصدر مشروع llama.cpp الإصدار b10864، والذي يتضمن إصلاحًا لمنطق إخلاء مسافات نقاط التفتيش في `create_checkpoint()`. سابقًا، كانت قاعدة الإخلاء تحتفظ بأقدم نقطة تفتيش وتمسح النقاط اللاحقة ضمن `checkpoint_min_step`، مما أدى إلى فقدان النصوص القصيرة عن هذا العتبة لنقطة التفتيش اللازمة للاستئناف. أجبر هذا النماذج الهجينة والمتكررة على إعادة التعبئة مسبقًا بشكل غير ضروري من نقطة التفتيش السابقة.