Exécution de Qwen3.6-35B sur deux GPU P102-100 d'occasion pour 100 $

L'article démontre l'exécution du modèle Qwen3.6-35B-A3B à l'aide de deux cartes graphiques NVIDIA P102-100, qui coûtent environ 100 $ au total. Cette configuration offre 20 Go de VRAM et une bande passante mémoire de 448 Go/s.

• Le système prend en charge 3 utilisateurs simultanés avec des fenêtres de contexte allant jusqu'à 32768 tokens.
• Les vitesses d'inférence ont atteint environ 23,5 tokens par seconde lors des tests.
• La configuration utilise llama.cpp pour gérer le chargement du modèle et l'allocation des slots sur les deux GPU.

Cette approche offre une alternative à faible coût pour exécuter des modèles de langage larges localement, offrant une meilleure vitesse et capacité de contexte que les cartes moins chères avec moins de VRAM.