يخطط مستخدم في روسيا لبناء جهاز ذكاء اصطناعي غير متصل بالإنترنت بالكامل بسبب القيود المتوقعة على الإنترنت، ويبحث عن نصائح حول العتاد وتحسين الأداء. تتضمن التكوين المقترح معالجي Intel Xeon 2683v4، وذاكرة عشوائية DDR4 ECC سعتها 256 جيجابايت، ووحدة معالجة رسوميات NVIDIA V100 سعة 16 جيجابايت واحدة، بميزانية تقدر بـ 1500 دولار.
- تشمل النماذج المستهدفة Deepseek V4 Flash (284B) وMiMo V2.5 (310B)، مع تقدير الاستدلال المعتمد على المعالج فقط بمعدل 6-7 رمز في الثانية للنموذج الأول.
- أفاد المستخدم بأن استخدام ik_llama.cpp ضاعف سرعة معالجة الطلبات مقارنة بـ llama.cpp القياسي في اختبارات أولية على نموذج Qwen3.5 9B.
- تشمل النصائح المجمعة للتحسين تكوين أحجام الدفعات، وضبط OMP_WAIT_POLICY=ACTIVE، والاستفادة من نماذج MTP.
- لا تزال هناك مخاوف بشأن زمن انتقال الاتصال بين المعالجات وتوفر اللوحات الأم التي تدعم ثمانية قنوات ذاكرة للتوسع المستقبلي لوحدة معالجة الرسوميات.