github llama.cpp · منذ 1 ساعة · inference

llama.cpp b10182 ينقل معالجة suppress_tokens إلى common/sampling

مُترجم من English → العربية

أصدر مشروع llama.cpp الإصدار b10182، والذي يتضمن تغييرًا هيكليًا في كيفية إدارة كبت الرموز. تتضمن التعديلات الرئيسية نقل منطق معالجة `suppress_tokens` إلى وحدة `common/sampling`.

تمت إزالة ميزة `has_logit_bias` من قاعدة الشفرة.
يعالج هذا الإصدار مشكلات الأمان المتعلقة بالتنفيذ السابق.
يتم توفير الملفات الثنائية لأنظمة macOS (Apple Silicon و Intel)، و iOS، و Linux (CPU، Vulkan، ROCm، OpenVINO، SYCL)، و Android، و Windows (CPU، CUDA 12/13، Vulkan، OpenCL، ROCm، OpenVINO، SYCL، HIP)، و openEuler.

يؤدي هذا التحديث إلى توحيد منطق أخذ العينات ويحل مشكلات الأمان المحددة داخل آلية كبت الرموز.

الأهمية 1/3 الموثوقية 1/3 llama.cpp Inference efficiency

قراءة الأصل

llama.cpp b10180 يضيف مسارًا سريعًا متجاورًا ورياضيات فهرس 32 بت لعمليات SYCL الأحادية

أصدر مشروع llama.cpp الإصدار b10180، مقدمًا تحسينات للأداء لخلفية SYCL. تنفذ التحديث مسارًا سريعًا متجاورًا ويحول حساب فهرس العنصر عن طريق العنصر لاستخدام fastdiv مع أعداد صحيحة 32 بت.

github llama.cpp · منذ 3 ساعة · مشاهدة واحدة

يقوم llama.cpp بـ b10181 بتعطيل MMQ على الأجهزة ذات ذاكرة مشتركة أقل من 48 KiB

أصدر مشروع llama.cpp الإصدار b10181، الذي يتضمن إصلاحًا في ggml-cuda لتعطيل الضرب المصفوفي الكمّي (MMQ) على وحدات معالجة الرسومات التي تحتوي على أقل من 48 KiB من ذاكرة الكتلة المشتركة لكل كتلة. سابقًا، كانت تكوينات MMQ تفترض حدًا أدنى قدره 48 KiB، مما تسبب في أخطاء قاتلة على أجهزة مثل وحدات معالجة الرسومات NVIDIA Pascal وMoore Threads MTT S70 حيث تجاوز حجم البلاطة الذاكرة المتاحة.

media Hugging Face Forums · منذ 4 ساعة

يجسّن جيسون فان فام تدهورًا جشعًا متعدد الأدوار في جيما 4 تحت قيود على مستوى الحرف

نشر جيسون فان فام ومهندس التعاون غروك (xAI) تقرير تشخيصي يوضح وضع فشل متعدد الأدوار شبه قياسي في إطار عمل Hydrodynamic Swarm عند استخدام مسار تعليمات مخصص لـ Gemma 4. تحدد الدراسة أن الجمع بين فك التشفير الجشع وميزانيات الرموز الطويلة والقيود على مستوى الحرف يُطلق تدهورًا نصيًا كلاسيكيًا، بما في ذلك التكرار والفوضى الإملائية.

media Hugging Face Forums · منذ 5 ساعة

تصحح Hugging Face DynamicCache لمنع المخرجات الخاطئة في generate()

يوجد خطأ في دالة `generate()` الخاصة بـ Hugging Face يؤدي إلى مخرجات غير صحيحة عندما يكون `past_key_values` عبارة عن `DynamicCache` تم بناؤه خارجيًا. تؤثر هذه المشكلة على طرق ضغط ذاكرة التخزين المؤقت KV مثل SnapKV وH2O وKIVI التي تعيد بناء الذاكرة من بيانات prefill. السبب الجذري هو فشل في نشر السياق الموضعي، مما أدى إلى فقدان الدقة بنسبة 10.7 نقطة مئوية على Qwen3-VL-8B.

github llama.cpp · منذ 6 ساعة · مشاهدة واحدة

يضيف llama.cpp b10178 تسجيل تتبع لفحص تشابه الخانات

أصدر مشروع llama.cpp الإصدار b10178، الذي يقدم تسجيل تتبع لفحص تشابه الخانات داخل مكون الخادم. يضيف هذا التحديث تسجيلًا مفصلاً في `server-context.cpp` أثناء اختيار خانة ذاكرة التخزين المؤقت للطلبات، مع التقاط أسباب التخطي وتفاصيل حساب التشابه بشكل محدد.