github llama.cpp · منذ 2 ساعة · inference

llama.cpp b10344 يضيف دعم MTP لنماذج Nemotron

مُترجم من English → العربية

أصدر مشروع llama.cpp الإصدار b10344، الذي يقدم دعم التنبؤ متعدد الرموز (MTP) خصيصًا لنماذج Nemotron وNemotron Nano.

يضيف دعم MTP لنموذج Nemotron Nano.
يقدم تكوين mtp_flags لنموذج Nemotron.
يوفر ملفات ثنائية لأنظمة macOS (Apple Silicon وIntel)، وiOS، وLinux (CPU، Vulkan، ROCm، OpenVINO، SYCL)، وAndroid، وWindows (CPU، CUDA 12/13، Vulkan، OpenCL، OpenVINO، SYCL، HIP)، وopenEuler.

يتيح هذا التحديث للمستخدمين الاستفادة من قدرات MTP مع نماذج Nemotron عبر مجموعة واسعة من المنصات الأجهزة وأنظمة التشغيل.

الأهمية 1/3 الموثوقية 1/3 llama.cpp Inference efficiency Local inference

قراءة الأصل

يضيف llama.cpp بنية Granite-Switch مع موزّع داخل الرسم البياني لاختيار LoRA لكل رمز

يقدم مشروع llama.cpp دعمًا لبنية Granite-Switch، وهي نسخة كثيفة من النموذج تحتوي على N من محولات Loira المضمنة التي يتم اختيارها لكل رمز عبر رموز التحكم. تستبدل هذه التنفيذ فهرسًا عالميًا ثابتًا سابقًا كان مجرد مفهوم أولي، بآلية انتباه "موزّع" سببي داخل الرسم البياني لحل مؤشرات المحوّل.

github llama.cpp · منذ 10 ساعة

إصدار llama.cpp b10336 مع إعادة هيكلة ggml-webgpu

أصدر مشروع llama.cpp الإصدار b10336، والذي يتضمن إعادة هيكلة لعدة ملفات wgsl وتبسيط flash_attn wgsl ضمن مكون ggml-webgpu.

media Hugging Face Forums · منذ 2 يوم · 8 مشاهدات

يوفر vLLM Launcher منصة عمل سطح مكتب لنظام Windows للاستدلال المحلي للنماذج اللغوية الكبيرة

تم إصدار مشروع جديد يُسمى vLLM Launcher كتطبيق سطح مكتب لنظام Windows مصمم لإدارة استدلال النماذج اللغوية الكبيرة محليًا عبر WSL2. يسمح هذا الأداة للمستخدمين بالتحكم في العديد من خلفيات المحركات، بما في ذلك vLLM و SGLang و llama.cpp، من واجهة رسومية واحدة.

github llama.cpp · منذ 2 يوم · مشاهدة واحدة

llama.cpp b10330 يدمج rms_norm و mul و rope على CUDA

أصدر مشروع llama.cpp الإصدار b10330، مقدمًا تحسينًا لـ CUDA يدمج عمليات rms_norm والضرب و RoPE في نواة واحدة. يرافق هذا التغيير فحوصات نطاق الذاكرة للعمليات المدمجة وحالات اختبار جديدة للأوزان البثية.

github llama.cpp · منذ 2 يوم · 6 مشاهدات

يضيف llama.cpp b10328 عزل أدوات الخادم الأولي عبر Docker

أصدر مشروع llama.cpp الإصدار b10328، الذي يقدم دعمًا أوليًا لعزل الأدوات داخل مكون الخادم باستخدام Docker. يتضمن هذا التحديث توثيقًا وتكييفات للكود لفصل صناديق رمل I/O للأدوات وإعادة تسمية أعلام التكوين ذات الصلة.