github llama.cpp · منذ 1 ساعة · inference

يضيف llama.cpp b10178 تسجيل تتبع لفحص تشابه الخانات

مُترجم من English → العربية

أصدر مشروع llama.cpp الإصدار b10178، الذي يقدم تسجيل تتبع لفحص تشابه الخانات داخل مكون الخادم. يضيف هذا التحديث تسجيلًا مفصلاً في `server-context.cpp` أثناء اختيار خانة ذاكرة التخزين المؤقت للطلبات، مع التقاط أسباب التخطي وتفاصيل حساب التشابه بشكل محدد.

يوفر الإصدار ملفات ثنائية لنظام macOS (Apple Silicon وIntel)، وiOS، وLinux (Ubuntu مع خلفيات CPU وVulkan وROCm وOpenVINO وSYCL)، وAndroid، وWindows (CPU وCUDA 12/13 وVulkan وOpenCL وOpenVINO وSYCL وHIP)، وopenEuler. دعم KleidiAI لنظام macOS Apple Silicon معطل في هذا الإصدار.

الأهمية 1/3 الموثوقية 1/3 llama.cpp Inference efficiency

قراءة الأصل

llama.cpp b10174 يضيف دعم فك التشفير التكهن NextN/MTP لنموذج GLM-5.2

أصدر مشروع llama.cpp الإصدار b10174، مقدمًا دعم فك التشفير التكهن NextN/MTP لهيكل نموذج GLM_DSA (GLM-5.2).

media Together AI Blog · منذ 16 ساعة

توضيح Together AI للتوجيه الواعي بالسعة لاستدعاء النماذج المخصصة

تفصّل شركة Together AI بنية منصة الاستدعاء للنماذج المخصصة، التي تربط نقاط النهاية والنشرات والإعدادات الثابتة من خلال تقسيم حركة المرور الواعي بالسعة. يقوم هذا النظام بتوجيه الطلبات بناءً على السعة الفعّالة (الوزن مضروباً في عدد النسخ الجاهزة) بدلاً من النسب الثابتة، مما يمكّن من ميزات مثل الإصدارات بدون توقف واختبار A/B.

media Hugging Face Forums · منذ 17 ساعة

تستخدم رسوم الذاكرة المرجحة بالاهتمام انتباه Jina لاجتياز graph-RAG

توضح اقتراح جديد بنية ذاكرة LLM تجمع بين التقطيع المتأخر مع حواف مرجحة بالاهتمام لتمكين الاجتياز خطوة بخطوة. يستفيد النظام من نموذج التضمين الخاص بـ Jina AI، الذي يحسب الاهتمام بين الجمل، لاستنتاج أوزان الحواف من المعالجة الداخلية للمستند.

github llama.cpp · منذ 17 ساعة

إصلاح llama.cpp b10171 لمخرجات عشوائية متعددة القنوات في OpenCL على أجهزة Adreno

يعالج إصدار llama.cpp b10171 خطأً حرجاً في نوى صور Adreno KQ/KQV تسبّب في ظهور مخرجات عشوائية أثناء دفعات التسلسلات المتعددة. نشأت المشكلة لأن هذه النوى تتجاهل البُعد 3، مما يؤدي إلى قراءات غير صحيحة عند استخدام ذاكرة التخزين المؤقت KV الموحدة مع قنوات متعددة.

media r/LocalLLaMA · منذ 18 ساعة

مايكروسوفت تطلق Mage-VL، نموذجًا متعدد الوسائط للبث الأصلي المشفر

أطلقت مايكروسوفت Mage-VL، وهو نموذج أساسي متعدد الوسائط بكفاءة عالية يحتوي على 4 مليار معلمة لفهم الصور والفيديو، يعتمد على نهج مشفر أصلي لتبسيط المعالجة البصرية. يفصل النظام تدفقات الفيديو إلى إطارات مرجعية (I) وإطارات متوقعة (P)، مع الاحتفاظ فقط بالبقع التي تخصص لها المشفر بتات لتقليل استهلاك الرموز البصرية بنسبة تزيد عن 75%.