Un usuario realiza un benchmark a una configuración cuádruple de NVIDIA RTX 5060 Ti para ejecutar el modelo Qwen3.6-27B, apuntando a una generación de código rentable con soporte de ventana de contexto amplia.
La configuración ejecuta el modelo en cuantización Q8 con caché key-value FP16 y Multi-Token Prediction (MTP) habilitado para maximizar la precisión y velocidad.
Las pruebas en una instancia de Vast AI arrojaron 608 tokens/s para prefill en frío y 52,2 tokens/s para decodificación con una longitud de contexto de 256K. El autor compara esto con alternativas como dos RTX 3090 y Mac M5 Max, señalando que el cuádruple 5060 Ti ofrece mejor relación calidad-precio y rendimiento para modelos densos.
Esta configuración proporciona excelentes velocidades de inferencia para generación de código state-of-the-art dentro de un presupuesto de hardware de $2.000.