github llama.cpp · الآن · inference

يضيف llama.cpp دعمًا لـ HrmTextForCausalLM (DFM Mimir 1B)

مُترجم من English → العربية

أضاف مشروع llama.cpp دعمًا لهيكلية HrmTextForCausalLM، مما يمكّن تحديد النماذج بشكل خاص لنموذج DFM Mimir 1B. تقدم هذه التنفيذة كاتب GGUF ومحمّلًا جديدًا للتعامل مع البنية الفريدة للنموذج، التي تشغّل مجموعتي محولات متبادلتين في دورة متناوبة عبر نفس تدفق الرموز.

تترجم عملية التحويل الإسقاطات المدمجة gqkv إلى q/k/v من llama.cpp بالإضافة إلى موتر بوابة sigmoid منفصل.
يتعامل مخزن KV مع الالتباس الكتلي للبنى المتكررة، حيث يحتفظ بمدخل واحد لكل مرور عبر 128 طبقة.
تم التحقق من صحة الاستدلال مقابل المخرجات المرجعية لـ Hugging Face بنتائج argmax متطابقة عبر 334 موضعًا.
تحتفظ الكمية q8_0 بدقة top-1 بنسبة 95.8٪، مع حصر الأخطاء المتبقية ضمن top-5 من HF.

يتيح هذا الإضافة للمستخدمين تشغيل نماذج HRM-text على الأجهزة المحلية، رغم أنه يأتي بتنازلات أداء كبيرة بسبب تصميم البنية.

الأهمية 1/3 الموثوقية 1/3 llama.cpp Hugging Face Inference efficiency

قراءة الأصل

مقالات ذات صلة

github llama.cpp · منذ 2 ساعة · مشاهدة واحدة

إصلاح llama.cpp b11001 لتلف عملية قلب المصفوفة من int16 على معمارية RISC-V

أصدر مشروع llama.cpp الإصدار b11001، الذي يتضمن إصلاحاً حاسماً لدالة `permute_transpose_impl` التي تتعامل مع بيانات int16 على معماريات RISC-V.

github llama.cpp · منذ 8 ساعة · مشاهدة واحدة

llama.cpp b10995 يجعل ذيل BN/2 لعملية MUL_MAT_ID في Vulkan غير مشروط

أصدر مشروع llama.cpp الإصدار b10995، الذي يعدل معالجة عملية MUL_MAT_ID بواسطة الخلفية (backend) الخاصة بـ Vulkan. على وجه التحديد، يجعل التغيير ذيل BN/2 غير مشروط من خلال استخدام BN/2 كقيمة افتراضية لـ BNover2 وكخيار احتياطي معطل لـ BNover4، مع إزالة بوابة التفعيل من هذا الفرع.

github llama.cpp · منذ 16 ساعة · مشاهدتان

llama.cpp b10989 يمكّن AllReduce لـ ROCm ويوفر ثنائيات متعددة المنصات

أصدر مشروع llama.cpp الإصدار b10989، الذي يقدم دعمًا لتمكين عمليات AllReduce داخل الخلفية (backend) الخاصة بـ ROCm. يُعد هذا التحديث جزءًا من التطوير المستمر لتوسيع توافق الأجهزة وقدرات الحوسبة الموزعة لاستدلال نماذج اللغة الكبيرة.

github llama.cpp · منذ 21 ساعة · مشاهدة واحدة

يضيف llama.cpp b10988 اختيار ضرب مصفوفة خبراء MoE عبر OpenCL للترميز التوقعي

أصدر مشروع llama.cpp الإصدار b10988، مقدمًا تغييرات على الخلفية البرمجية لـ OpenCL خصيصًا لنماذج Mixture of Experts (MoE). تنفذ التحديث منطقًا لاختيار ضرب مصفوفة خبراء MoE بناءً على حجم الدفعة أثناء الترميز التوقعي والتنبؤ متعدد الرموز.

github llama.cpp · منذ 1 يوم · مشاهدة واحدة

llama.cpp b10984 يضيف دعم CUDA لـ SUM_ROWS المتصل صفياً

أصدر مشروع llama.cpp الإصدار b10984، مقدماً دعم CUDA لعمليات SUM_ROWS المتصلة صفياً. ينظم هذا التحديث أيضاً الكود ليشمل GGML_OP_MEAN لمعالجة الموترات المتصلة صفياً عبر نواة مشتركة.