github llama.cpp · منذ 2 ساعة · inference

يضيف llama.cpp b10290 دالة ggml_build_forward_order لإصلاح تنفيذ رسم بياني للصوت

مُترجم من English → العربية

أصدر مشروع llama.cpp الإصدار b10290، مقدمًا دالة جديدة `ggml_build_forward_order` إلى مكتبة ggml. يعالج هذا التغيير خطأً في الرسم البياني للصوت mtmd حيث كان استخدام `ggml_build_forward_expand` كمؤشر ترتيب نقي يؤدي إلى تنفيذ الفروع غير المحددة بإدخالات قديمة.

أجبرت الطريقة السابقة الحساب على الفروع غير المحددة، مما أدى إلى فشل تأكيد الحدود `get_rows` على وحدة المعالجة المركزية بسبب بيانات `inp_code0` القديمة.
تدرج الدالة الجديدة العقد بدون علامة الحساب، وتستعيدها فقط عندما يتم تحديد الفرع فعليًا.
يوفر الإصدار b10290 ملفات ثنائية لأنظمة macOS (Apple Silicon و Intel)، و Linux (CPU، Vulkan، ROCm، OpenVINO، SYCL)، و Android، و Windows (CPU، CUDA 12/13، Vulkan، OpenCL، OpenVINO، SYCL، HIP)، و openEuler.
يتضمن الإصدار أيضًا إطار عمل XCFramework لنظام iOS وإصدار واجهة مستخدم مستقلًا.

الأهمية 1/3 الموثوقية 1/3 llama.cpp Inference efficiency

قراءة الأصل

مقالات ذات صلة

github llama.cpp · منذ 4 ساعة · مشاهدة واحدة

إصدار llama.cpp b10289 يعزز أمان file_glob_search ويصلح معالجة مسارات ويندوز

يعزز إصدار llama.cpp b10289 عملية تجوال الدلائل في file_glob_search للخادم لمنع الحلقات اللانهائية على وصلات ويندوز، ويحسن الإبلاغ عن الأخطاء للدلائل غير المقروءة.

media Hugging Face Forums · منذ 6 ساعة

QuantCheck تحذر من افتراض أن نقطة التفتيش النهائية هي الأفضل للتكميم رباعي البتات

يُبرز أداة جديدة تُسمى QuantCheck أن نقطة التفتيش النهائية للتدريب المسبق قد لا تكون الخيار الأمثل للتكميم رباعي البتات، حيث يمكن أن تظل مقاييس الأداء ثابتة بينما تزداد الهشاشة. لاحظ المؤلف هذا النمط على Pythia-160m، حيث تعرضت نقطة التفتيش النهائية لضرر في الجودة يقارب أربعة أضعار مقارنة بنقطة تفتيش سابقة بنفس الجودة.

github llama.cpp · منذ 12 ساعة

إضافة llama.cpp b10285 للتجميع متعدد الصفوف لـ deepseek-ocr

أصدر مشروع llama.cpp الإصدار b10285، الذي يقدم دعمًا للتجميع متعدد الصفوف في وحدة mtmd خصيصًا لنماذج deepseek-ocr. يسمح هذا التحديث للنظام بنسج صفوف deepseek-ocr في عملية واحدة بدلاً من معالجتها بشكل فردي.

github llama.cpp · منذ 13 ساعة

يضيف llama.cpp b10282 عدادات spec-decode إلى نقطة النهاية /metrics

أصدر مشروع llama.cpp الإصدار b10282، الذي يقدم قدرات مراقبة جديدة للترميز التخميني. يتضمن الخادم الآن عدادات spec-decode في نقطة النهاية الخاصة به /metrics، مما يسمح للمستخدمين بتتبع مقاييس الأداء المتعلقة بهذه الميزة.

github llama.cpp · منذ 1 يوم

يقوم llama.cpp b10275 بفك تشفير إخراج Windows OEM إلى UTF-8 في الأدوات المدمجة

أصدر مشروع llama.cpp الإصدار b10275، الذي يصلح مشكلة ترميز الأحرف على Windows حيث كانت الأحرف المشدودة تُفقد بصمت. يضمن التحديث أن النص من العمليات الفرعية التي تكتب في صفحة الكود OEM يتم فك تشفيره بشكل صحيح إلى UTF-8 قبل الوصول إلى طبقة JSON.