github llama.cpp · منذ 3 يوم · inference

llama.cpp b10934 يطبق common_schema لمخططات JSON

مُترجم من English → العربية

أصدر مشروع llama.cpp الإصدار b10934، الذي يُدخل تنفيذ تمثيل داخلي لـ `common_schema` لمخططات JSON. يتضمن هذا التحديث إنشاء أنواع `common_schema` ومُحسّن لمخططات JSON للتعامل مع حل المخططات بفعالية أكبر.

تنفيذ أنواع `common_schema` ومنطق حل الأنواع/الأنماط.
إدخال مُحسّن لمخططات JSON وإعادة هيكلة json-schema-to-grammar لاستخدام بنية common schema الجديدة.
إعادة تسمية `common_schema_parse` إلى `common_schema_from_json` وطرق البناء من `parse_*` إلى `build_*`.
التعامل مع المعاملات الفارغة للأدوات، والإشارة `$ref` الفارغة، وضمان أن `{}` تعني أي كائن لـ `json_object`.
استعادة `(min|max)Length` للإشارة إلى نوع السلسلة ونقل القوائم المحددة تحت `common_schema`.

يوفر هذا الإصدار ثنائيات لأنظمة macOS (Apple Silicon وIntel)، وLinux (Ubuntu x64، arm64، s390x مع CPU، Vulkan، ROCm، OpenVINO، SYCL)، وWindows (CPU، CUDA 12/13، Vulkan، OpenCL، OpenVINO، SYCL، ROCm)، وAndroid، وأطر عمل iOS XCFrameworks.

الأهمية 1/3 الموثوقية 1/3 llama.cpp Inference efficiency

قراءة الأصل

مقالات ذات صلة

github llama.cpp · منذ 1 ساعة · مشاهدة واحدة مباشر

llama.cpp b10984 يضيف دعم CUDA لـ SUM_ROWS المتصل صفياً

أصدر مشروع llama.cpp الإصدار b10984، مقدماً دعم CUDA لعمليات SUM_ROWS المتصلة صفياً. ينظم هذا التحديث أيضاً الكود ليشمل GGML_OP_MEAN لمعالجة الموترات المتصلة صفياً عبر نواة مشتركة.

github llama.cpp · منذ 2 ساعة · مشاهدة واحدة

llama.cpp b10985 يقيّد ذاكرة التخزين المؤقت التجزئة RPC للأوزان

أصدر مشروع llama.cpp الإصدار b10985، الذي يعدّل الخلفية RPC لتقييد التخزين المؤقت القائم على التجزئة حصريًا لأوزان الموترات. يعالج هذا التغيير مشكلة حيث كانت بيانات التنشيط تُجزّأ وتُخزّن دون داعٍ، مما يؤدي إلى استخدام مفرط للقرص.

github llama.cpp · منذ 3 ساعة · 4 مشاهدات

إضافة llama.cpp b10982 دعم الانتباه المتقطع السريع عبر Vulkan لنماذج DSV4/GLM

أصدر مشروع llama.cpp الإصدار b10982، الذي يُدخل دعم الانتباه المتقطع السريع (sparse Flash Attention) عبر الخلفية (backend) الخاصة بـ Vulkan. يستهدف هذا التحديث بشكل خاص نماذج DSV4 وGLM، مما يتيح لها الاستفادة من آليات الانتباه المتوافق مع عتاد وحدات معالجة الرسومات المناسب.

github llama.cpp · منذ 4 ساعة · مشاهدتان

إصلاح llama.cpp b10981 للفك المشروط لـ Gemma-4 وتحسين استنتاج GPU MoE

يعالج إصدار llama.cpp b10981 مشكلات صحة حرجة في مسار فك التشفير الشرعي للخلفية OpenVINO، ويصحح بشكل خاص دعم النماذج مثل Gemma-4 التي تستخدم أحجام رؤوس لكل طبقة. كما يقدم تحسينات لاستنتاج GPU Mixture of Experts (MoE) ويحسن الأداء من خلال إعادة ترتيب حالات KV.

github llama.cpp · منذ 5 ساعة · مشاهدة واحدة

يضيف llama.cpp نوى Metal FA لـ HSK=96 و HSV=64 الخاص بـ MiniCPM3

أضاف مشروع llama.cpp دعم نواة Flash Attention (FA) للتكوين المحدد المستخدم بواسطة MiniCPM3 على Apple Silicon. يعالج هذا التغيير تعطلًا حيث كان العلم `-fa auto` يتوقف بسبب عدم وجود تثبيت للنواة لطول مفتاح الانتباه 96 وطول القيمة 64.