github llama.cpp · منذ 1 ساعة · inference

يضيف llama.cpp b10418 دعم ذاكرة المضيف المثبتة لـ SYCL

مُترجم من English → العربية

أصدر مشروع llama.cpp الإصدار b10418، مقدمًا دعمًا لذاكرة المضيف المثبتة لتحسين وصول المضيف إلى الجهاز في SYCL. يعالج هذا التحديث مشكلات أمان الخيوط داخل تنفيذ الخلفية.

يضيف دعم ggml_backend_sycl_host_buffer_type_get_max_size لذاكرة المضيف المثبتة.
يصلح مشكلة أمان الخيوط في خلفية SYCL.
يتضمن ملفات ثنائية لأنظمة macOS (Apple Silicon و Intel)، و Linux (CPU، Vulkan، ROCm، OpenVINO، SYCL FP32/FP16)، و Android، و Windows (CPU، OpenCL، CUDA 12/13، Vulkan، OpenVINO، SYCL، ROCm 7.14)، و openEuler.
يوفر حزمة واجهة مستخدم موحدة لجميع المنصات.

يتيح الإصدار نقل بيانات أسرع بين ذاكرة المضيف والجهاز للأجهزة المتوافقة مع SYCL مع ضمان الاستقرار من خلال تحسين أمان الخيوط.

الأهمية 1/3 الموثوقية 1/3 llama.cpp Inference efficiency Local inference

قراءة الأصل

مقالات ذات صلة

github llama.cpp · منذ 1 ساعة مباشر

إضافة دعم Qwen3.5 وتحسينات الذاكرة إلى الخلفية OpenVINO في llama.cpp

قام مشروع llama.cpp بدمج تحديثات كبيرة لخلفيته OpenVINO، تركز بشكل أساسي على تمكين دعم عائلة نماذج Qwen3.5 وإدخال عدة تقنيات لتحسين استهلاك الذاكرة.

github llama.cpp · منذ 4 ساعة · مشاهدة واحدة

يضيف llama.cpp b10414 دعم TQ2_0 ويحسن نواة mul_mv

أصدر مشروع llama.cpp الإصدار b10414، مقدمًا دعمًا لنوع الكمي الثلاثي GGML_TYPE_TQ2_0 في الخلفية Metal. يتضمن هذا التحديث أيضًا تحسينات لنواة mul_mv للصفائف المتصلة (cont).

github llama.cpp · منذ 3 يوم · مشاهدة واحدة

يصلح llama.cpp b10354 قناع亲和ية المعالج على Android

أصدر مشروع llama.cpp الإصدار b10354، والذي يتضمن إصلاحًا لقناع亲和ية المعالج الذي تم تجاهله على أجهزة Android.

github llama.cpp · منذ 3 يوم · مشاهدتان

llama.cpp b10344 يضيف دعم MTP لنماذج Nemotron

أصدر مشروع llama.cpp الإصدار b10344، الذي يقدم دعم التنبؤ متعدد الرموز (MTP) خصيصًا لنماذج Nemotron وNemotron Nano.

github llama.cpp · منذ 3 يوم · مشاهدة واحدة

يضيف llama.cpp بنية Granite-Switch مع موزّع داخل الرسم البياني لاختيار LoRA لكل رمز

يقدم مشروع llama.cpp دعمًا لبنية Granite-Switch، وهي نسخة كثيفة من النموذج تحتوي على N من محولات Loira المضمنة التي يتم اختيارها لكل رمز عبر رموز التحكم. تستبدل هذه التنفيذ فهرسًا عالميًا ثابتًا سابقًا كان مجرد مفهوم أولي، بآلية انتباه "موزّع" سببي داخل الرسم البياني لحل مؤشرات المحوّل.