O artigo detalha o desempenho dos módulos Tesla V100-SXM2-16GB para execução de grandes modelos de linguagem locais, destacando sua alta largura de banda HBM2 como um ativo-chave para inferência, apesar da ausência de operações tensoriais bf16 ou int8.
- Um único módulo executa o Gemma 4 26B inteiramente na GPU, alcançando 99,8 tok/s no modo TCC em comparação com 56,8 tok/s no WSL2/MCDM.
- Módulos duplos fornecem 32GB de VRAM e aproximadamente o dobro da largura de banda, permitindo que o Qwen3.6-35B execute totalmente residente com divisão de tensores.
- Sob cargas concorrentes de múltiplos agentes com prompts curtos, a taxa de transferência agregada escala de 62,7 tok/s (1 agente) para 338,1 tok/s (16 agentes).
- Com prompts de sistema realistas de ~24k tokens, a taxa de transferência agregada atinge um pico em torno de 150-175 tok/s para 8-16 agentes concorrentes.
- O suporte do driver é limitado às versões R570 até R580, pois o suporte ao Volta termina no CUDA 13.3/R595.
- Configurações duplas exigem tratamento específico da resposta transitória da fonte de alimentação para evitar reinicializações forçadas sob carga.
O autor observa que, embora a quantização Q4 se mantenha bem para muitas tarefas, é um ponto fraco para cadeias longas de agentes, e os usuários podem trocar concorrência por qualidade usando pesos Q6_K se a capacidade de 32GB dos módulos duplos permitir.