L'article détaille les performances des modules Tesla V100-SXM2-16GB pour l'exécution de grands modèles de langage locaux, mettant en avant leur bande passante HBM2 élevée comme un atout majeur pour l'inférence, malgré l'absence d'opérations tensorielles bf16 ou int8.
- Un module unique exécute Gemma 4 26B entièrement sur le GPU, atteignant 99.8 tok/s en mode TCC par rapport à 56.8 tok/s sous WSL2/MCDM.
- Deux modules offrent 32 Go de VRAM et environ le double de bande passante, permettant à Qwen3.6-35B de s'exécuter entièrement en mémoire avec un fractionnement tensoriel.
- En charge multi-agents concurrente avec des invites courtes, le débit agrégé passe de 62.7 tok/s (1 agent) à 338.1 tok/s (16 agents).
- Avec des invites système réalistes d'environ 24k tokens, le débit agrégé plafonne autour de 150-175 tok/s pour 8 à 16 agents concurrents.
- La prise en charge des pilotes est limitée aux versions R570 à R580, car le support de Volta prend fin dans CUDA 13.3/R595.
- Les configurations doubles nécessitent une gestion spécifique de la réponse transitoire de l'alimentation pour éviter les redémarrages brutaux sous charge.
L'auteur note que bien que la quantisation Q4 résiste bien pour de nombreuses tâches, c'est un point faible pour les longues chaînes d'agents, et les utilisateurs peuvent échanger la concurrence contre la qualité en utilisant des poids Q6_K si la capacité de 32 Go du module double le permet.