github llama.cpp · منذ 1 ساعة · inference

إضافة llama.cpp b10285 للتجميع متعدد الصفوف لـ deepseek-ocr

مُترجم من English → العربية

أصدر مشروع llama.cpp الإصدار b10285، الذي يقدم دعمًا للتجميع متعدد الصفوف في وحدة mtmd خصيصًا لنماذج deepseek-ocr. يسمح هذا التحديث للنظام بنسج صفوف deepseek-ocr في عملية واحدة بدلاً من معالجتها بشكل فردي.

يدعم mtmd الآن التجميع متعدد الصفوف لـ deepseek-ocr.
يقوم التنفيذ بنسج صفوف deepseek-ocr دفعة واحدة بدلاً من صفًا تلو الآخر.
تتوفر الملفات الثنائية لأنظمة macOS (Apple Silicon و Intel) و Linux (CPU و Vulkan و ROCm و OpenVINO و SYCL) و Android و Windows (CPU و CUDA 12/13 و Vulkan و OpenCL و OpenVINO و SYCL و HIP) و openEuler.

يوفر هذا الإصدار ملفات ثنائية محدثة عبر منصات متعددة ومسرعات الأجهزة للمستخدمين الذين يحتاجون إلى قدرات معالجة deepseek-ocr الجديدة.

الأهمية 1/3 الموثوقية 1/3 llama.cpp Inference efficiency

قراءة الأصل

مقالات ذات صلة

github llama.cpp · منذ 2 ساعة

يضيف llama.cpp b10282 عدادات spec-decode إلى نقطة النهاية /metrics

أصدر مشروع llama.cpp الإصدار b10282، الذي يقدم قدرات مراقبة جديدة للترميز التخميني. يتضمن الخادم الآن عدادات spec-decode في نقطة النهاية الخاصة به /metrics، مما يسمح للمستخدمين بتتبع مقاييس الأداء المتعلقة بهذه الميزة.

github llama.cpp · منذ 16 ساعة

يقوم llama.cpp b10275 بفك تشفير إخراج Windows OEM إلى UTF-8 في الأدوات المدمجة

أصدر مشروع llama.cpp الإصدار b10275، الذي يصلح مشكلة ترميز الأحرف على Windows حيث كانت الأحرف المشدودة تُفقد بصمت. يضمن التحديث أن النص من العمليات الفرعية التي تكتب في صفحة الكود OEM يتم فك تشفيره بشكل صحيح إلى UTF-8 قبل الوصول إلى طبقة JSON.

github llama.cpp · منذ 20 ساعة

llama.cpp b10273 يحل طول سياق العيّنة ويزيل نوافذ السياق الكاملة

أصدر مشروع llama.cpp الإصدار b10273، معالجةً لمشكلة حرجة حيث لم تتمكن العينات القائمة على التاريخ من استنتاج طول السياق الصحيح أثناء التهيئة بسبب قيود الخلفية للعينات.

github llama.cpp · منذ 22 ساعة

إصلاح llama.cpp b10269 لإعادة تشكيل dflash wo_a أثناء التحميل

أصدر مشروع llama.cpp الإصدار b10269، والذي يتضمن إصلاحًا لمشكلة إعادة تشكيل dflash wo_a أثناء تحميل النموذج.

media Hugging Face Forums · منذ 1 يوم

انتباه خطي سببي O(N) ذو عتبة تدهور مفتوح المصدر مع نواة Triton المدمجة

قام مطوّر بنشر بنية الانتباه الخطي السببي O(N) ذو العتبة التدهورية كمصدر مفتوح، وتتضمّن نوى تراكم حالة مدمجة من Triton/CUDA مصمّمة لتجاوز الاختناقات التربيعية في الانتباه متعدد الرؤوس (MHA).