github llama.cpp · منذ 1 ساعة · inference

يقوم llama.cpp b10081 بحل مستودع المسودة إلى الجار الجانبي المطلوب

مُترجم من English → العربية

يصلح إصدار llama.cpp b10081 خطأً حيث كان العلم `--hfd` يشير إلى مستودع يحتوي على جيران جانبية تخمينية، ولكن خطة المسودة تم حلها بشكل خاطئ إلى النموذج الرئيسي بدلاً من الجار الجانبي. حدث هذا لأن `find_best_model()` استبعدت ملفات الجار الجانبي وخطة المسودة الصريحة كتمت اكتشاف الجيران الجانبية.

يقوم الإصلاح بتوصيل الجيران الجانبية المكتشفة كمسودة، متبعًا نمط التراجع لخطة الرئيسية، مما يسمح لأوامر مثل `llama-server -hf repo -hfd repo --spec-type draft-dflash` بالعمل كما هو متوقع.

يتضمن هذا الإصدار ملفات ثنائية لأنظمة macOS (Apple Silicon و Intel)، iOS، Linux (CPU، Vulkan، ROCm، OpenVINO، SYCL)، Android، Windows (CPU، OpenCL، CUDA 12/13، Vulkan، OpenVINO، SYCL، HIP)، و openEuler.

الأهمية 1/3 الموثوقية 1/3 llama.cpp Inference efficiency

قراءة الأصل

مقالات ذات صلة

github llama.cpp · منذ 2 ساعة

إصلاح llama.cpp b10080 لانهيار الخادم وخطأ التحقق من صحة واجهة المستخدم

يعالج إصدار llama.cpp b10080 خطأين محددين في مكونات الخادم وواجهة المستخدم. يعيد الخادم الآن بشكل صحيح رمز حالة 400 بدلاً من الانهيار بخطأ 500 عندما يفشل التحقق من الطلبات التي تحتوي على رأس X-Conversation-Id. بالإضافة إلى ذلك، لم تعد واجهة المستخدم ترسل وسيط backend_sampling، الذي كان يسبب فشل التحقق من إكمال الإعدادات الافتراضية سابقًا.

arxiv arXiv cs.LG · منذ 6 ساعة

يستخدم SkewAdam حالة محسّن متعددة الطبقات لتقليل ذاكرة تدريب MoE بنسبة 97%

يطرح الباحثون SkewAdam، وهو محسّن مصمم لنماذج مزيج الخبراء (MoE)، يخصص أنواعًا مختلفة من الحالة لمجموعات بارامترية مميزة لتقليل استخدام الذاكرة بشكل كبير. ومن خلال تعيين زخم float32 ولحظات ثانية مُعامَلة للعمود الفقري، ولحظات ثانية مُعامَلة للخبراء، ولحظات ثانية دقيقة للموجّه، يقلل SkewAdam حالة المحسّن من 50.6 جيجابايت إلى 1.29 جيجابايت لنموذج ذي 6.78 مليار معلمة.

github llama.cpp · منذ 8 ساعة

llama.cpp b10078 يعيد هيكلة معالجة طوابير Vulkan لتجاوز القفل المتبادل على جانب المضيف

أصدر مشروع llama.cpp الإصدار b10078، والذي يتضمن إعادة هيكلة كبيرة لخلفية Vulkan لتحسين كفاءة التزامن. يدمج التحديث دعمًا لـ VK_KHR_internally_synchronized_queues، مما يسمح للمكتبة بتجريد إرسال الطوابير إلى واجهة متعددة الأشكال تتجاوز تمامًا قفل القفل المتبادل على جانب المضيف عندما يدعمه السائق.

github llama.cpp · منذ 15 ساعة

llama.cpp b10076 يعمم get_rows بنسخ int4 لتسريع بنسبة 27%

أصدر مشروع llama.cpp الإصدار b10076، الذي يقدم تحسينًا للأداء في الخلفية CUDA عن طريق تعميم عملية `get_rows` باستخدام نسخ int4. يؤدي هذا التغيير إلى رفع العمل غير المتغير للصفوف خارج الحلقة لكل عنصر ويضيف مسارًا معمّمًا ينسخ 16 بايت لكل خيط للبيانات المتصلة من النوع نفسه.

media Hugging Face Forums · منذ 2 يوم · مشاهدة واحدة

واجه وكلاء الصوت في الإنتاج مع نماذج لغوية محلية تأخيراً مستمراً وقيوداً على السياق

أفاد فريق يعمل على وكيلين صوتيين للإنتاج في إسبانيا باستخدام Retell AI و Ollama ونماذج محلية على بطاقة RTX 4000 Ada بأن جودة المحادثة تحسنت، لكن مشكلة التأخير الأساسية لا تزال غير محلولة. القيد الرئيسي هو مهلة زمنية تبلغ حوالي 3 ثوانٍ من Retell AI؛ إذا فشل النموذج اللغوي في إنتاج الرمز الأول ضمن هذه الفترة، ينقطع الاتصال، مما يؤدي إلى إنهاء المكالمة بعد إعادة اتصالين.