Um usuário faz benchmark de uma configuração quad com NVIDIA RTX 5060 Ti para executar o modelo Qwen3.6-27B, visando geração de código econômica com suporte a janela de contexto ampla.
A configuração executa o modelo em quantização Q8 com cache key-value FP16 e Multi-Token Prediction (MTP) habilitado para maximizar precisão e velocidade.
Testes em uma instância Vast AI resultaram em 608 tokens/s para cold prefill e 52,2 tokens/s para decodificação com comprimento de contexto de 256K. O autor compara isso com alternativas como duas RTX 3090 e Mac M5 Max, observando que o quad 5060 Ti oferece melhor custo-benefício e desempenho para modelos densos.
Esta configuração fornece velocidades de inferência excelentes para geração de código state-of-the-art dentro de um orçamento de hardware de $2.000.