media r/LocalLLaMA · منذ 45 يوم · open_models

Bonsai 27B: أول نموذج من فئة 27B يعمل على الهاتف

مُترجم من English → العربية

يقدم المقال Bonsai 27B، الذي يُوصف بأنه أول نموذج من فئته قادر على العمل على هاتف محمول.

لا توجد تفاصيل إضافية أو ميزات محددة مقدمة في النص المصدر.

الأهمية 1/3 r/LocalLLaMA Inference efficiency Open weights

Quantization-Aware Healing: نموذج مضغوط بدقة 4 بت يتفوق على أصله الكامل الدقة

يقدم المقال Quantization-Aware Healing، وهي طريقة لإنشاء نموذج مضغوط بدقة 4 بت يحقق أداءً متفوقًا على أصله الكامل الدقة.

media r/LocalLLaMA · منذ 4 يوم · 5 مشاهدات

فيسبوك تطلق MobileMoE، عائلة من نماذج اللغة MoE للأجهزة المحمولة

أطلقت ميتا MobileMoE، وهي مجموعة من نماذج اللغة Mixture-of-Experts (MoE) للأجهزة المحمولة مصممة لتحسين مقايضة الجودة والكفاءة على الأجهزة المحمولة. تتضمن العائلة ثلاثة أحجام للنماذج مع معاملات نشطة أقل من مليار وبصمات وزن أقل من 3 جيجابايت بتنسيق INT4.

arxiv arXiv cs.LG · منذ 5 يوم · 14 مشاهدة

Quantization-Aware Healing يستعيد نماذج LLM ذات 4 بت أسرع من QAT

يقدم المؤلفون Quantization-Aware Healing (QAH)، وهو خط أنابيب يقوم بتقطيع طلاب 4 بت مباشرة من النماذج غير المضغوطة لاستعادة الأداء المفقود أثناء الضغط الهيكلي والتكميم. عند تطبيقه على GPT-OSS 120B، ينتج هذا الأسلوب Hypernova-60B، الذي يساوي أو يتفوق على المصدر bfloat16 في 7 من أصل 9 معايير مع استخدام حوالي 4 أضعاف أقل من ذاكرة الأوزان.

arxiv arXiv cs.CL · منذ 5 يوم · 14 مشاهدة

الشفاء الواعي للكمية يستعيد نماذج LLM ذات 4 بت أسرع من QAT

يقدم المؤلفون الشفاء الواعي للكمية (QAH)، وهي طريقة لاستعادة قدرات الاستدلال والبرمجة في نماذج اللغة الكبيرة المضغوطة هيكلياً بـ 4 بت. على عكس التدريب الواعي للكمية القياسي الذي يعيد ضبط النموذج المضغوط، يقوم QAH باستخلاص الطالب ذو الـ 4 بت مباشرة من النموذج الأصلي غير المضغوط.

media Hugging Face Forums · منذ 6 يوم · 6 مشاهدات

يدرب Xyntetik Runner محولات LoRA مباشرةً عبر أوزان GGUF المُكمّاة

قام Joakimpalm-Zen بتحديث Xyntetik Runner لتدريب محولات LoRA مباشرةً باستخدام نفس أوزان GGUF المُكمّاة التي يستخدمها للاستدلال، مما يلغي الحاجة إلى نسخة تدريب منفصلة بدقة FP16 أو وقت تشغيل مخصص.