Un utilisateur a effectué un benchmark d'un ensemble quad NVIDIA RTX 5060 Ti pour exécuter le modèle Qwen3.6-27B, visant une génération de code rentable avec un support de fenêtre de contexte élevée.
La configuration exécute le modèle en quantisation Q8 avec un cache clé-valeur FP16 et la prédiction multi-tokens (MTP) activée pour maximiser la précision et la vitesse.
Les tests sur une instance Vast AI ont donné 608 tok/s pour le préremplissage à froid et 52,2 tok/s pour le décodage avec une longueur de contexte de 256K. L'auteur compare cette configuration à des alternatives telles que les RTX 3090 doubles et le Mac M5 Max, notant que le quad 5060 Ti offre un meilleur rapport qualité-prix et des performances pour les modèles denses.
Cette configuration offre d'excellentes vitesses d'inférence pour la génération de code de pointe dans un budget matériel de 2 000 $.