github llama.cpp · منذ 1 يوم · inference

llama.cpp b11097 يضيف نواة ثنائية dp4a لـ A8 Q4_0 non-MoE

مُترجم من English → العربية

أصدر مشروع llama.cpp الإصدار b11097، الذي يقدم نواة ثنائية OpenCL لتنسيق A8 Q4_0 non-MoE dp4a.

تضيف التحديث دعمًا لتنسيق الكمّية المحدد A8 Q4_0 عبر نواة dp4a جديدة.
يتم توفير الملفات الثنائية لأنظمة macOS (Apple Silicon وIntel)، وLinux (CPU، Vulkan، CUDA 12/13، ROCm 10.0، OpenVINO، SYCL)، وWindows (CPU، Vulkan، CUDA 12/13، ROCm 10.0، OpenVINO، SYCL)، وAndroid، وopenEuler.
تتضمن أصول الإصدار أيضًا إطار عمل XCFramework لنظام iOS وإصدارًا مستقلًا لواجهة المستخدم.

الأهمية 1/3 الموثوقية 1/3 llama.cpp Hugging Face Inference efficiency

llama.cpp b11122 يوسع دمج MMVQ GLU ويضيف دمجات SYCL جديدة

أطلق مشروع llama.cpp الإصدار b11122، والذي يتضمن تحديثات كبيرة للخلفية SYCL. يوسع هذا الإصدار دمج MMVQ GLU لدعم أنواع الكم المختلطة ويقدم دمجات جديدة لعمليات rms_norm+scale و ssm_conv+silu.

github llama.cpp · منذ 14 ساعة · 11 مشاهدة

llama.cpp b11111 يضيف نوى تحسين انتباه فلاش لـ Intel Xe

أصدر مشروع llama.cpp الإصدار b11111، الذي يقدم نوى تحسين انتباه فلاش المستندة إلى Vulkan لمسارات split k في بنية Xe-LPG Plus وXe2 وXe3.

github llama.cpp · منذ 17 ساعة · 9 مشاهدات

إضافة llama.cpp دعم DFlash لـ HunyuanOCR وإصلاح تحويل المسودة

أضاف مشروع llama.cpp دعمًا لفك التشفير التخميني (speculative decoding) الخاص بـ DFlash مع نموذج HunyuanOCR من خلال كشف موترات إدخال الطبقة في الرسم البياني المستهدف. يسمح هذا التغيير لنموذج المسودة بقراءة تدفقات الباقي، مما يتيح تنفيذ طلبات الصور بنجاح بمعدل قبول مسودة يبلغ حوالي 0.5 وإخراج OCR مطابق تمامًا للبايت مقارنة بالعمليات غير التخمينية.

github llama.cpp · منذ 20 ساعة · 11 مشاهدة

إصدار llama.cpp b11101 يسمح باستدعاءات find_package المتكررة لمكتبة llama

أصدر مشروع llama.cpp الإصدار b11101، الذي يتضمن إصلاحًا لنظام البناء يسمح باستدعاءات find_package المتكررة لمكتبة llama.

lab Hugging Face Blog · منذ 21 ساعة · 10 مشاهدات

إضافة مكتبة Transformers دعمًا لتنسيق GGUF عبر نوى ggml للاستدلال المحلي

تدعم الآن مكتبة Transformers التابعة لـ Hugging Face تحميل النماذج المُكمّمة بتنسيق GGUF، مستفيدةً من نوى ggml الأساسية لتحقيق أداء يقترب من llama.cpp. يتيح هذا التكامل للمطورين تشغيل نقاط التفتيش المُكمّمة مباشرةً داخل واجهة برمجة التطبيقات القياسية المعتمدة على PyTorch على الأجهزة المدعومة.