github llama.cpp · منذ 1 ساعة · inference

llama.cpp تضيف ضبط fa-vec لـ Apple M3 Max وM5 وM5 Pro

مُترجم من English → العربية

أضاف مشروع llama.cpp سجلات ضبط متجه الانتباه السريع (fa-vec) لوحدة معالجة الرسومات Apple M3 Max وM5 وM5 Pro لتحسين أداء Metal.

تم إنشاء الضبط لـ Apple M5 على جهاز M5 باستخدام أنواع البيانات f16 وq8_0.
تغطي سجلات Apple M5 Pro تنسيقات F16 وQ4_0 وQ8_0 عبر 20 نواة GPU.
يشمل الدعم لـ M3 Max تكوينات F16 وQ8_0 على MacBook Pro بسعة 64GB في وضع الطاقة المنخفضة.

توسع هذه التحديثات قدرات تسريع Metal لتشمل أجيال Apple silicon الأحدث.

الأهمية 1/3 الموثوقية 1/3 llama.cpp Hugging Face Inference efficiency

قراءة الأصل

llama.cpp b10665 يضيف دعم DSpark لـ Nemotron3.5

أصدر مشروع llama.cpp الإصدار b10665، الذي يقدم دعم DSpark لنموذج Nemotron3.5.

github llama.cpp · منذ 17 ساعة · 7 مشاهدات

يضيف llama.cpp دعم بنية Qwen3.8-Flash-Next (qwen4exp)

أضاف مشروع llama.cpp دعمًا لبنية نموذج Qwen3.8-Flash-Next (qwen4exp)، بتنفيذ مكوناته المحددة بما في ذلك الوصلات الفائقة، وشبكات دلتا ذات البوابات، وخلط الخبراء، وتضمينات التجزئة n-gram لـ PLE.

github llama.cpp · منذ 1 يوم · 8 مشاهدات

يضيف llama.cpp b10653 TENSOR_READ_LAZY لتحميل النماذج

أصدر مشروع llama.cpp الإصدار b10653، مقدمًا ميزة TENSOR_READ_LAZY إلى محمّل النماذج الخاص به. يتضمن هذا التغيير إضافة دالة TENSOR_GET_ROW_LAZY وعلامة سطر الأوامر المقابلة --tensor-read-lazy.

github llama.cpp · منذ 1 يوم · 7 مشاهدات

يضيف llama.cpp b10655 دعم LIGHTNING_INDEXER لعمليات Deepseek V4 على Vulkan

أصدر مشروع llama.cpp الإصدار b10655، الذي يقدم دعمًا لعملية LIGHTNING_INDEXER داخل الخلفية الخلفية (backend) لتمكين عمليات Deepseek V4.

github llama.cpp · منذ 2 يوم · 6 مشاهدات

llama.cpp b10639 يصلح افتراض حجم warptile في Vulkan

أصدر مشروع llama.cpp الإصدار b10639، والذي يتضمن إصلاحًا لخلفية Vulkan حيث كانت warptiles تفترض سابقًا أن أحجام warp أقل من أو تساوي 64. يحد هذا التغيير من حجم warp للتغلب على المشكلات مع warps الأكبر.