github llama.cpp · منذ 1 يوم · inference

يصلح llama.cpp b10354 قناع亲和ية المعالج على Android

مُترجم من English → العربية

أصدر مشروع llama.cpp الإصدار b10354، والذي يتضمن إصلاحًا لقناع亲和ية المعالج الذي تم تجاهله على أجهزة Android.

يوفر الإصدار ملفات ثنائية لنظام macOS (Apple Silicon و Intel)، و iOS، و Linux (Ubuntu x64، arm64، s390x)، و Windows (CPU، CUDA 12/13، Vulkan، OpenCL، ROCm، SYCL، OpenVINO)، و Android (arm64).

يظل دعم KleidiAI لنظام macOS Apple Silicon معطلاً في هذا البناء.

تم تعطيل بناءات openEuler إلى حد كبير، مع توفر تكوينات محددة فقط لـ x86 و aarch64.

الأهمية 1/3 الموثوقية 1/3 llama.cpp Inference efficiency Local inference

قراءة الأصل

llama.cpp b10344 يضيف دعم MTP لنماذج Nemotron

أصدر مشروع llama.cpp الإصدار b10344، الذي يقدم دعم التنبؤ متعدد الرموز (MTP) خصيصًا لنماذج Nemotron وNemotron Nano.

github llama.cpp · منذ 2 يوم

يضيف llama.cpp بنية Granite-Switch مع موزّع داخل الرسم البياني لاختيار LoRA لكل رمز

يقدم مشروع llama.cpp دعمًا لبنية Granite-Switch، وهي نسخة كثيفة من النموذج تحتوي على N من محولات Loira المضمنة التي يتم اختيارها لكل رمز عبر رموز التحكم. تستبدل هذه التنفيذ فهرسًا عالميًا ثابتًا سابقًا كان مجرد مفهوم أولي، بآلية انتباه "موزّع" سببي داخل الرسم البياني لحل مؤشرات المحوّل.

github llama.cpp · منذ 2 يوم

إصدار llama.cpp b10336 مع إعادة هيكلة ggml-webgpu

أصدر مشروع llama.cpp الإصدار b10336، والذي يتضمن إعادة هيكلة لعدة ملفات wgsl وتبسيط flash_attn wgsl ضمن مكون ggml-webgpu.

media Hugging Face Forums · منذ 3 يوم · 8 مشاهدات

يوفر vLLM Launcher منصة عمل سطح مكتب لنظام Windows للاستدلال المحلي للنماذج اللغوية الكبيرة

تم إصدار مشروع جديد يُسمى vLLM Launcher كتطبيق سطح مكتب لنظام Windows مصمم لإدارة استدلال النماذج اللغوية الكبيرة محليًا عبر WSL2. يسمح هذا الأداة للمستخدمين بالتحكم في العديد من خلفيات المحركات، بما في ذلك vLLM و SGLang و llama.cpp، من واجهة رسومية واحدة.

github llama.cpp · منذ 3 يوم · مشاهدتان

llama.cpp b10330 يدمج rms_norm و mul و rope على CUDA

أصدر مشروع llama.cpp الإصدار b10330، مقدمًا تحسينًا لـ CUDA يدمج عمليات rms_norm والضرب و RoPE في نواة واحدة. يرافق هذا التغيير فحوصات نطاق الذاكرة للعمليات المدمجة وحالات اختبار جديدة للأوزان البثية.