github llama.cpp · منذ 2 ساعة · inference

يضيف llama.cpp b10262 دعم GATED_LINEAR_ATTN للخلفية Vulkan

مُترجم من English → العربية

أصدر مشروع llama.cpp الإصدار b10262، الذي يقدم دعمًا لعملية GATED_LINEAR_ATTN في خلفية Vulkan الخاصة به. يتضمن هذا التحديث أيضًا تحديثات للتوثيق الخاص بعمليات Vulkan وإزالة ثابت مواصفات GLA غير المستخدم.

تم تنفيذ عملية GATED_LINEAR_ATTN لـ Vulkan (#25601)
تم تحديث توثيق عمليات Vulkan
تم إزالة ثابت مواصفات GLA غير المستخدم

يوفر هذا الإصدار ملفات ثنائية لأنظمة macOS وLinux وWindows وAndroid وiOS عبر خلفيات CPU وCUDA وROCm وOpenVINO وSYCL وVulkan.

الأهمية 1/3 الموثوقية 1/3 llama.cpp Inference efficiency

قراءة الأصل

انتباه خطي سببي O(N) ذو عتبة تدهور مفتوح المصدر مع نواة Triton المدمجة

قام مطوّر بنشر بنية الانتباه الخطي السببي O(N) ذو العتبة التدهورية كمصدر مفتوح، وتتضمّن نوى تراكم حالة مدمجة من Triton/CUDA مصمّمة لتجاوز الاختناقات التربيعية في الانتباه متعدد الرؤوس (MHA).

github llama.cpp · منذ 4 ساعة

يسمح llama.cpp b10259 بإعادة تشكيل الموترات أثناء التحميل

أصدر مشروع llama.cpp الإصدار b10259، الذي يقدم القدرة على السماح بإعادة تشكيل الموترات أثناء عملية التحميل.

github llama.cpp · منذ 10 ساعة

يقوم llama.cpp b10256 بموازنة نواة الإلحاق غير المتجاور لـ SYCL

يتضمن إصدار llama.cpp b10256 تغييرًا لموازنة نواة الإلحاق غير المتجاور لأجهزة SYCL. يعدل التحديث هندسة الإطلاق من مجموعة عمل ذات مسار واحد إلى واحدة تستخدم `SYCL_CONCAT_BLOCK_SIZE`.

github llama.cpp · منذ 10 ساعة

llama.cpp b10254 يضيف قالب DeepSeek V4 Flash 0731 ويحدّث قوالب V4

أصدر مشروع llama.cpp الإصدار b10254، مقدمًا قالب محادثة جديدًا لنموذج DeepSeek V4 Flash 0731 جنبًا إلى جنب مع تحديثات لقوالب DeepSeek V4 الحالية.

github llama.cpp · منذ 11 ساعة · مشاهدة واحدة

يمدد llama.cpp الإصدار b10255 مسار oneDNN SDPA ليشمل مخازن KV غير FP16

يُمدّ إصدار llama.cpp b10255 مسار oneDNN SDPA لدعم مخازن المفاتيح والقيم (KV) غير FP16، بما في ذلك صيغ الكمّ Q4_0–Q8_0 وFP32. يسمح هذا التحديث بتشغيل نواة systolic المدمجة بنفس طريقة المسار الأصلي FP16 من خلال فك الكمّ أو تحويل موترات K/V إلى FP16 كثيف على الجهاز قبل المعالجة.