Um usuário do r/LocalLLaMA está considerando adicionar uma segunda RTX 3060 à sua configuração atual, que inclui um i5-8500, 48 GB de DDR4 e uma RTX 3060 com 12 GB de VRAM. Ele está atualmente executando o Gemma 4 26B-A4B (Q4_K_M), mas acha que ele carece de perspicácia, enquanto o modelo de 31B é muito lento devido à insuficiência de VRAM.
- O usuário quer saber se duas RTX 3060 podem carregar uma quantização Q4 ou Q5 de um modelo denso de 31B.
- Ele está preocupado com a penalidade de desempenho porque o segundo slot PCIe está conectado como x4 em vez de x16.
- O usuário pergunta se a divisão de camadas ajudaria a mitigar o gargalo causado pela largura de banda limitada do slot x4.