يسأل مستخدم على رديت عن توصيات لتحسين مساحة السياق والكفاءة الحسابية لتشغيل نموذج لغوي كبير محليًا. يستخدم المنشئ نموذج Qwen 3.6-27B المُكمَّم إلى Q4 على بطاقة NVIDIA RTX 3090 بسعة 24 جيجابايت من ذاكرة الفيديو.
- يبلغ المستخدم أن نافذة السياق الإجمالية تبلغ حوالي 34,000 رمزًا.
- يستهلك نظام ذاكرة مخصص يستخدم HDBSCAN وروتين يوميات حوالي 24,000 رمز عند بدء التشغيل.
- يؤدي محاولة توسيع نافذة السياق باستخدام ذاكرة الوصول العشوائي للنظام إلى أداء أبطأ بشكل كبير.
- الهدف الأساسي للمستخدم هو المساعدة في البرمجة محليًا، لكنه يواجه قيودًا بسبب محدودية موارد الأجهزة.