media r/LocalLLaMA · منذ 1 يوم · open_models

GLM تفصّل بنية الاستدلال الخاصة بها في منشور مدونة جديد

مُترجم من English → العربية

نشر فريق GLM منشورًا على مدونة z.ai يوضح بنية وتصميم بنيتها التحتية للاستدلال.

يقدم المقال نظرة تقنية متعمقة حول كيفية تعامل GLM مع خدمة النماذج وتحسينها.
يُوصف بأنه «قراءة مثيرة للغاية» لأولئك المهتمين بأنظمة نشر نماذج اللغة الكبيرة.

الأهمية 2/3 r/LocalLLaMA Zhipu AI Inference efficiency

Z.ai وAlibaba تتقاربان بشكل مستقل على بنية الانتباه الخطي بنسبة 3:1 لـ GLM-5.3-Flash وQwen3.8-Flash-Next

أصدرت Z.ai نموذج GLM-5.3-Flash، وهو نموذج MoE متعدد الوسائط يحتوي على 320 مليار معامل مع 18 مليار معامل نشط، بينما أصدر فريق Qwen التابع لـ Alibaba نموذج Qwen3.8-Flash-Next، وهو نموذج بحجم 125 مليار معامل مع 6 مليارات معامل نشط. وعلى الرغم من التطوير المستقل، اعتمد الفريقان تكوينات معمارية متطابقة تقريباً.

lab Hugging Face Blog · منذ 31 يوم · 28 مشاهدة

يُعدّل ALTK-Evolve جرعة الذاكرة الوكيلية وفقاً لقدرة النموذج لتحسين الأداء

تكشف دراسة شملت ثمانية نماذج أن الذاكرة الوكيلية ليست سمة عالمية، بل جرعة يجب ضبطها لتناسب قدرة النموذج المحدد. يستخلص إطار عمل ALTK-Evolve إرشادات من المسارات السابقة للوكيل ويحقنها أثناء الاستدلال دون تحديث الأوزان، مما يُظهر أن استراتيجيات الذاكرة المثلى تختلف بشكل كبير عبر مستويات النماذج.

github llama.cpp · منذ 52 يوم · 32 مشاهدة

llama.cpp b10174 يضيف دعم فك التشفير التكهن NextN/MTP لنموذج GLM-5.2

أصدر مشروع llama.cpp الإصدار b10174، مقدمًا دعم فك التشفير التكهن NextN/MTP لهيكل نموذج GLM_DSA (GLM-5.2).

arxiv arXiv cs.CL · منذ 53 يوم · 28 مشاهدة

تشارك PIVOT مسوحات البادئة عبر مجموعات الاستعلام لتسريع الانتباه المتناثر على مستوى الرموز

PIVOT (الفهرسة الوسيطة عبر اجتياز بادئة كاملة) هي بديل جاهز للاستخدام لا يتطلب تدريبًا، لفهرس DeepSeek Sparse Attention (DSA)، ويقلل من التكرار الحسابي عن طريق مشاركة مسح بادئة واحدة عبر مجموعة من الاستعلامات القريبة. وبدلاً من تقييم كل رمز سابق لكل استعلام على حدة، تجمع PIVOT المجموعة في استعلام وسيط واحد للحصول على مجموعة مرشحة، يتم منها اختيار أفضل k رموز لكل استعلام.

media r/LocalLLaMA · منذ 72 يوم · 21 مشاهدة

GLM-5.2 بـ 4 بت على 4× DGX Spark يحقق 70.8% على Terminal-Bench 2.1

قام مستخدم بضغط نموذج GLM-5.2 (753B MoE) إلى Int4-Int8Mix مع ذاكرة تخزين مؤقت KV بـ NVFP4 4-bit وشغّله على أربعة أنظمة DGX Spark (GB10)، محققاً نتيجة 70.8% على Terminal-Bench 2.1.