Un utilisateur de Reddit disposant d'un serveur équipé de deux GPUs RTX 5060 16 Go et de 80 Go de DDR4 ECC demande des conseils de configuration pour optimiser les performances lors du partage des poids du modèle entre les cartes.
- La configuration utilise le PCIe 3.0, ce que l'utilisateur note peut entraver l'efficacité du parallélisme tensoriel.
- Les benchmarks actuels montrent environ 3200 tokens par seconde pour le traitement de la requête et 100 tokens par seconde pour la génération avec le modèle Qwen 3.6 35B.
- Le modèle plus petit Qwen 27B atteint environ 600 tokens par seconde pour le traitement de la requête et 23 tokens par seconde pour la génération dans une configuration de répartition tensorielle.
- L'utilisateur utilise actuellement des formats GGUF avec llama.cpp mais a également accès aux modèles vLLM NVFP4.
Le post vise à recueillir les recommandations de la communauté sur les paramètres à modifier pour améliorer le débit et la latence lors de l'exécution de grands modèles de langage sur un matériel double GPU.