تفصل المقالة أداء وحدات Tesla V100-SXM2-16GB لتشغيل نماذج اللغة الكبيرة محلياً، مع التركيز على عرض النطاق الترددي العالي HBM2 كأصل رئيسي للاستنتاج رغم عدم وجود عمليات موتر bf16 أو int8.
- وحدة واحدة تشغل Gemma 4 26B بالكامل على وحدة معالجة الرسومات، محققةً 99.8 توكة/ثانية في وضع TCC مقارنة بـ 56.8 توكة/ثانية في WSL2/MCDM.
- وحدتان توفران ذاكرة فيديو VRAM سعة 32 جيجابايت وعرضاً ترددياً يقارب الضعف، مما يسمح لتشغيل Qwen3.6-35B بالكامل مع تقسيم الموتر.
- تحت أحمال متعددة الوكلاء المتزامنة مع نصوص قصيرة، يتوسع الإنتاجية الإجمالية من 62.7 توكة/ثانية (وكيل واحد) إلى 338.1 توكة/ثانية (16 وكلاء).
- مع نصوص نظام واقعية بحوالي 24 ألف توكة، تصل الإنتاجية الإجمالية إلى ذروة حوالي 150-175 توكة/ثانية لـ 8-16 وكلاء متزامنين.
- دعم السائقين محدود بالإصدارات R570 حتى R580، حيث ينتهي دعم Volta في CUDA 13.3/R595.
- تتطلب الإعدادات المزدوجة معالجة خاصة لاستجابة الطاقة العابرة لمنع إعادة التشغيل القسري تحت الحمل.
يلاحظ المؤلف أنه بينما تتحمل الكمية Q4 جيداً للعديد من المهام، إلا أنها نقطة ضعف لسلاسل الوكلاء الطويلة، ويمكن للمستخدمين التنازل عن التزامن مقابل الجودة باستخدام أوزان Q6_K إذا سمحت سعة الوحدة المزدوجة البالغة 32 جيجابايت بذلك.