github llama.cpp · منذ 1 ساعة · inference

يضيف llama.cpp b10249 أداة get_info إلى الخادم

مُترجم من English → العربية

أصدر مشروع llama.cpp الإصدار b10249، الذي يقدم أداة جديدة `get_info` لمكون الخادم. يتضمن هذا التحديث أيضًا إصلاحات للوثائق الخاصة بالعلم `--rpc`.

يعرض الخادم الآن أداة `get_info` لاسترداد معلومات النظام.
تم تشديد معالجة نتيجة المسح للإبلاغ عن 'unknown' (غير معروف) عندما يفشل العملية أو يتجاوز الوقت المحدد، مما يمنع تفسير النص التشخيصي بشكل خاطئ كاسم لنظام التشغيل.
تمت إضافة إزالة الإخراج وحدود المهلة لضمان التعامل النظيف مع البيانات.
يوفر هذا الإصدار ملفات ثنائية لـ macOS (Apple Silicon و Intel)، و iOS، و Linux (CPU، Vulkan، ROCm، OpenVINO، SYCL)، و Android، و Windows (CPU، CUDA 12/13، Vulkan، OpenCL، OpenVINO، SYCL، HIP)، و openEuler.

يجعل هذا الإصدار أداة `get_info` متاحة لتشخيصات جانب الخادم مع توفير ملفات ثنائية محدثة عبر جميع المنصات المدعومة.

الأهمية 1/3 الموثوقية 1/3 llama.cpp Inference efficiency

قراءة الأصل

مقالات ذات صلة

github llama.cpp · منذ 2 ساعة

إصلاح llama.cpp b10247 لانهيارات النماذج ذات التخصيب الكبير (MoE) باستخدام التخصيص الديناميكي

أصدر مشروع llama.cpp الإصدار b10247، الذي يعالج مشكلات الاستقرار عند تحميل نماذج التخصيب الكبير (MoE) الكبيرة في إعدادات متعددة الخلفيات. يستبدل التحديث المصفوفات ذات الحجم الثابت في مخطط الخلفية بمخازن مؤقتة مُخصصة ديناميكيًا للتعامل مع تقسيمات الرسم البياني التي تتجاوز 30 مدخلًا.

github llama.cpp · منذ 3 ساعة

llama.cpp b10246 يوجّه مصفوفات q6_K lm_head الكبيرة إلى GEMV مسطح

أصدر مشروع llama.cpp الإصدار b10246، والذي يتضمن إصلاحًا لأداء OpenCL في تكوينات نماذج محددة. يعالج التحديث مشكلة كانت فيها شرط البعد الأصلي غير كافٍ للتعامل مع الأوزان الكبيرة.

github llama.cpp · منذ 8 ساعة · مشاهدتان

يضيف llama.cpp b10242 عيّان خلفية CUDA للعقوبات

أصدر مشروع llama.cpp الإصدار b10242، مقدّماً عيّان خلفية جديدًا للعقوبات يسمح بتحميل معالجة العقوبات إلى وحدة المعالجة الرسومية. يعزّز هذا التغيير دالة `common_sampler_init` ويحدّث بنية `llama_sampler_penalties` لتورّث من `llama_sampler_backend`، مما يتيح تعديلات التكرار والحضور على الخلفية.

github llama.cpp · منذ 11 ساعة · مشاهدة واحدة

إصلاح llama.cpp b10241 لسباقات البيانات SMEM في block_reduce لـ CUDA

أصدر مشروع llama.cpp الإصدار b10241، الذي يعالج خطأً حرجًا في الخلفية (backend) الخاصة بـ CUDA. يحل التحديث سباقات البيانات التي حدثت عند إعادة استخدام الذاكرة المشتركة (SMEM) أثناء اختزال الكتلة.

media Hugging Face Forums · منذ 14 ساعة · مشاهدة واحدة

Quesma تنشر خريطة منتقاة من 218 أداة وورقة بحثية لكفاءة تكلفة الرموز في LLM

أطلقت Quesma قائمة مفتوحة ومنقحة تحتوي على 218 إدخالًا تتعقب أين تُنفق الرموز في سير عمل LLM والوكلاء. يغطي المورد المراقبة، التخزين المؤقت الدلالي، النماذج المحلية الرخيصة، هندسة السياق، وحكم التكاليف.