github llama.cpp · منذ 1 ساعة · inference

يقوم llama.cpp b10790 بضبط العبور من MMVQ إلى MMQ لـ SM87

مُترجم من English → العربية

أصدر مشروع llama.cpp الإصدار b10790، والذي يتضمن ضبطًا محددًا للعبور من MMVQ إلى MMQ لـ SM87.

يوفر هذا التحديث ثنائيات جاهزة عبر منصات وتكوينات عتادية متعددة. تشمل الإصدارات المتاحة macOS Apple Silicon وIntel، وLinux (Ubuntu) مع دعم CPU وVulkan وROCm 10.0 وOpenVINO وSYCL، بالإضافة إلى إصدارات Windows تدعم CPU وOpenCL Adreno وCUDA 12/13 وVulkan وOpenVINO وSYCL وROCm 10.0. تغطي الإصدارات الإضافية Android arm64 وiOS XCFramework وهندسات openEuler x86/aarch64.

يتضمن هذا الإصدار أيضًا حزمة واجهة المستخدم القياسية لـ llama.cpp لجميع أنظمة التشغيل المدعومة.

الأهمية 1/3 الموثوقية 1/3 llama.cpp Inference efficiency

قراءة الأصل

IFM تطلق K2-Horizon-MoVA-36B-A4B، نموذج MoE متناثر مع 4B معلمة نشطة

أطلقت IFM النقطة المرجعية النهائية لـ K2-Horizon-MoVA-36B-A4B، وهو نموذج Mixture-of-Experts يتميز بانتباه Mixture-of-Values ويخزن 36B من المعلمات ولكن يشغل فقط 4B لكل توكن. يتضمن الإصدار تنسيقات GGUF وروابط إلى متغيرات أصغر في عائلة K2-Horizon.

github llama.cpp · منذ 8 ساعة · مشاهدة واحدة

يضيف llama.cpp دعم الانتباه المتقطع السريع لمرحلة الحشو في Metal

أطلق مشروع llama.cpp دعم الانتباه المتقطع السريع (FA) للخلفية البرمجية Metal، مستهدفاً بشكل خاص مرحلة الحشو في استنتاج النموذج. يتضمن هذا التحديث نواة جديدة تضغط إدخالات القناع المحدودة في قوائم مؤشرات لكل صف، وتوسع نواة FA المتجه بإضافة تجميع مؤشرات متقطعة اختياري.

github llama.cpp · منذ 9 ساعة · مشاهدتان

إصلاح llama.cpp b10782 لتحسين رسوم بيانية لـ CUDA على عدة وحدات معالجة رسومية

أصدر مشروع llama.cpp الإصدار b10782، الذي يعالج مشكلة حرجة في الخلفية (backend) الخاصة بـ CUDA لإعدادات وحدات المعالجة الرسومية المتعددة. يتيح التحديث تدفقات متزامنة لكل تقسيم ويمكّن تحسين الرسوم البيانية لـ CUDA من العمل بشكل صحيح عبر أجهزة متعددة.

github llama.cpp · منذ 11 ساعة · مشاهدة واحدة

llama.cpp b10780 يعزز واجهة برمجة التطبيقات SYCL لدعم النسخ من نظير إلى نظير

أصدر مشروع llama.cpp الإصدار b10780، والذي يتضمن تحسينًا محددًا لخلفية SYCL. يعدل هذا التحديث واجهة برمجة التطبيقات لتمكين قدرات النسخ من نظير إلى نظير (peer-to-peer copy) لأجهزة SYCL.

github llama.cpp · منذ 11 ساعة · مشاهدتان

إصلاح llama.cpp b10781 لتفعيل مسار فك التكميم السريع (FA) عبر Vulkan

أصدر مشروع llama.cpp الإصدار b10781، الذي يتضمن إصلاحًا لمسار فك تكميم الانتباه السريع (FA) الخاص بـ Vulkan. يعالج التحديث مشكلة حيث كان الشادر يتحقق بشكل غير صحيح من `nb[3]` حتى عندما يكون `ne[3] == 1`، مما يؤدي إلى تفعيل المسار فقط عندما تكون ذاكرة التخزين المؤقت ممتلئة.