Local inference
github llama.cpp · منذ 1 ساعة · 10 مشاهدات مباشر

يخفي llama.cpp b11120 الرموز الداخلية لـ Vulkan لإصلاح تدمير الحالة

أصدر مشروع llama.cpp الإصدار b11120، الذي يعالج خطأً حرجاً في الخلفية البرمجية لـ Vulkan من خلال إخفاء الرموز الداخلية. يمنع هذا التغيير مشاكل تدمير حالة dlopen المزدوج التي حدثت عندما كانت الرموز الداخلية مُصدَّرة.

github llama.cpp · منذ 17 ساعة · 9 مشاهدات

إضافة llama.cpp دعم DFlash لـ HunyuanOCR وإصلاح تحويل المسودة

أضاف مشروع llama.cpp دعمًا لفك التشفير التخميني (speculative decoding) الخاص بـ DFlash مع نموذج HunyuanOCR من خلال كشف موترات إدخال الطبقة في الرسم البياني المستهدف. يسمح هذا التغيير لنموذج المسودة بقراءة تدفقات الباقي، مما يتيح تنفيذ طلبات الصور بنجاح بمعدل قبول مسودة يبلغ حوالي 0.5 وإخراج OCR مطابق تمامًا للبايت مقارنة بالعمليات غير التخمينية.

lab Hugging Face Blog · منذ 21 ساعة · 10 مشاهدات

إضافة مكتبة Transformers دعمًا لتنسيق GGUF عبر نوى ggml للاستدلال المحلي

تدعم الآن مكتبة Transformers التابعة لـ Hugging Face تحميل النماذج المُكمّمة بتنسيق GGUF، مستفيدةً من نوى ggml الأساسية لتحقيق أداء يقترب من llama.cpp. يتيح هذا التكامل للمطورين تشغيل نقاط التفتيش المُكمّمة مباشرةً داخل واجهة برمجة التطبيقات القياسية المعتمدة على PyTorch على الأجهزة المدعومة.

media Hugging Face Forums · منذ 1 يوم · 11 مشاهدة

مستخدم يبحث عن سير عمل لإزالة الرقابة من Llama-Krikri-8B-Instruct للاستخدام المحلي باليونانية

يخطط مستخدم لبناء نموذج لغوي كبير غير خاضع للرقابة، أصلي باللغة اليونانية، للنشر المحلي باستخدام نقطة التفتيش ilsp/Llama-Krikri-8B-Instruct. تتضمن الخطة المقترحة إزالة الرقابة عن النموذج باستخدام Heretic (heretic-llm)، وتحويله إلى تنسيق GGUF Q4_K_M، وتشغيل الاستدلال على جهاز GMKtec EVO-X3 المزود بمعالج AMD Ryzen AI MAX+ 395 عبر Vulkan.

github llama.cpp · منذ 2 يوم · 12 مشاهدة

إصدار llama.cpp b11081 مع انحراف معياري قابل للتكوين لبيانات المصفوفات وأدوات اختبار محسّنة

أصدر مشروع llama.cpp الإصدار b11081، الذي يتضمن عدة تحديثات للبنية التحتية للاختبارات `test-llama-archs`. تشمل التغييرات الرئيسية جعل الانحراف المعياري لبيانات المصفوفات قابلاً للتكوين، وتوسيع أمثلة الاستخدام، وإضافة دعم لأنماط التعبير المنتظم للبنى المعمارية.

github llama.cpp · منذ 4 يوم · 29 مشاهدة

llama.cpp b11053 يحسن سجلات بدء تشغيل الخادم بإظهار مصدر النموذج

أصدر مشروع llama.cpp الإصدار b11053، والذي يتضمن تحسينًا محددًا لرسائل سجل بدء تشغيل الخادم. يعزز هذا التغيير الرؤية حول كيفية تحميل النماذج عن طريق استبدال العلامات الغامضة بعلامات مصدر صريحة.