يُفكر مستخدم يعمل حاليًا بنظام مزدوج من بطاقات RTX 3090 في إضافة بطاقة ثالثة لمعالجة قيود ذاكرة الفيديو (VRAM) التي تحد من الطلبات المتزامنة عند طول سياق يبلغ 256k. تتضمن الإعداد المقترح وضع GPU الثالث بالتوازي التسلسلي مع الموجودين بالفعل لزيادة السعة دون التعرض لعقبات عرض النطاق الترددي.
- يستخدم الإعداد الحالي بطاقتي RTX 3090 مزدوجتين توفران 48 جيجابايت من ذاكرة الفيديو (VRAM).
- تم تحقيق أقصى أداء للتيار الواحد (Single Stream) بالفعل بأكثر من 140 طلبًا في الثانية على المقاييس المعيارية.
- يواجه المستخدم أخطاء نفاد الذاكرة (OOM) عند محاولة إجراء أكثر من طلبين متزامنين بسبب قيود ذاكرة KV-Cache.
- تتضمن الخطة توصيل GPU ثالث عبر PCIe 4.0 في تكوين توازي تسلسلي.
يبحث المؤلف عن ملاحظات من المجتمع حول ما إذا كانت الإعدادات متعددة وحدات المعالجة الرسومية (GPU) المماثلة قد تم اختبارها وما هي النتائج التي تم تحقيقها فيما يتعلق بأداء التيار الواحد مقابل الأداء المتزامن.