github llama.cpp · منذ 1 ساعة · inference

llama.cpp b10763 يفعّل preserve_reasoning افتراضيًا

مُترجم من English → العربية

أصدر مشروع llama.cpp الإصدار b10763، الذي يغيّر السلوك الافتراضي للحجّة الأساسية `preserve_reasoning` لقالب الدردشة. يسجل الخادم الآن الحالة الفعّالة لهذا الوسيطة ويصدر تحذيرًا عندما يكون مفعّلًا افتراضيًا في القوالب التي تدعمه.

تم إهمال طريقة `--chat-template-kwargs` لضبط هذا الخيار لصالح الأعلام الصريحة مثل `--reasoning-preserve` أو `--no-reasoning-preserve`.
تتوفر الثنائيات المُعدّة مسبقًا لأنظمة macOS (Apple Silicon و Intel)، و iOS، و Linux (CPU، Vulkan، ROCm 7.14، OpenVINO، SYCL)، و Android، و Windows (CPU، CUDA 12/13، Vulkan، OpenVINO، SYCL، ROCm 7.14)، و openEuler.
يتضمن الإصدار ثنائيات واجهة المستخدم لجميع المنصات المدعومة.

الأهمية 1/3 الموثوقية 1/3 llama.cpp Inference efficiency Local inference

قراءة الأصل

إصلاح llama.cpp b10760 لاستقرار استنتاج Qwen3-tts-0.6b

أصدر مشروع llama.cpp الإصدار b10760، والذي يتضمن إصلاحات محددة لنموذج Qwen3-tts-0.6B لمنع عدم الاستقرار العددي أثناء الاستنتاج.

github llama.cpp · منذ 23 ساعة · مشاهدة واحدة

دمج llama.cpp b10751 لتقليل خبراء MoE المرجحين لـ CUDA

أصدر مشروع llama.cpp الإصدار b10751، الذي يقدم نواة مدمجة لتقليل الخبراء المرجحين في نموذج MoE (خلطة الخبراء) على CUDA. يحل هذا التحسين محل الأساس السابق الذي كان يشغل نواتين فيزيائيتين بنواة واحدة لتقليل المرجح، مما يقلل من حركة بيانات الذاكرة العالمية الوسيطة.

github llama.cpp · منذ 1 يوم · مشاهدة واحدة

إصلاح llama.cpp b10760 لاستقرار استنتاج Qwen3-tts-0.6b

دمج llama.cpp b10751 لتقليل خبراء MoE المرجحين لـ CUDA

llama.cpp b10750 يحسّن البحث عن n-gram في ذاكرة التخزين المؤقت KV لتحقيق مكسب بنسبة 4.9% في الإنتاجية

يضيف llama.cpp b10742 ضبط fa-vec لـ A18 Pro

يضيف llama.cpp b10739 ضبط fa-vec لـ M2 Max