Executando Qwen3.6-35B em duas GPUs P102-100 usadas por $100

O artigo demonstra a execução do modelo Qwen3.6-35B-A3B usando duas placas de vídeo NVIDIA P102-100, que custam aproximadamente $100 no total. Esta configuração fornece 20GB de VRAM e uma largura de banda de memória de 448GB/s.

• O sistema suporta 3 usuários concorrentes com janelas de contexto de até 32768 tokens.
• As velocidades de inferência atingiram aproximadamente 23.5 tokens por segundo durante os testes.
• A configuração utiliza llama.cpp para gerenciar o carregamento do modelo e a alocação de slots entre as duas GPUs.

Esta abordagem oferece uma alternativa de baixo custo para executar modelos de linguagem grandes localmente, proporcionando melhor velocidade e capacidade de contexto do que placas mais baratas com menos VRAM.