يسأل مستخدم عن التوصيات والمساعدة في تشغيل نماذج بمليار 35 من المعاملات باستخدام تنسيق الكمّ NVFP4 على وحدة معالجة الرسومات NVIDIA RTX 5090. تشمل الهدف دعم طول سياق يتجاوز 100 ألف رمز، ويفضل مع نماذج غير خاضعة للرقابة أو متخصصة.
- فشلت المحاولات السابقة لتشغيل AEON-7 Ornith 1.0 35B Uncensored NVFP4، لأن أمر التشغيل الموصى به كان محسّنًا لأجهزة GDX Spark بسعة 128 جيجابايت.
- يبلغ المستخدم عن عدم وجود مشاكل في تشغيل نماذج .gguf بحجم 35B، لكنه لم ينجح في تكوين vLLM بنجاح لهذا الإعداد المحدد.
يبرز المنشور التحديات الحالية في نشر نماذج NVFP4 عالية السعة على أجهزة RTX 5090 الموجهة للمستهلكين مع نوافذ سياق موسّعة.