Un chercheur indépendant a benchmarké 15 GPU d'entreprise NVIDIA décommissionnés, dont les K80, M40, P100, V100 et T40, afin d'évaluer leur viabilité pour les tâches AI de homelab modernes. En utilisant une suite Dockerisée personnalisée à travers des LLMs, la vision par ordinateur, Blender et Whisper, l'étude remet en question l'idée que ces cartes EOL sont obsolètes.

  • Le V100 16Go s'est révélé être le point idéal, égalant les performances du T40 plus coûteux.
  • Pour l'inférence LLM utilisant l'architecture Pascal, le P40 a surpassé le P100.
  • Le M60 s'est avéré très capable pour la transcription audio avec Whisper, battant le V100 et ne coûtant que environ 50 $.
  • La mise à l'échelle des performances est linéaire lors de l'empilement de cartes dans un châssis 4U, bien que mélanger des générations puisse créer un goulot d'étranglement plus rapidement pour les GPU plus rapides.
  • N'importe quelle carte mère X99 bon marché couplée à un CPU Xeon à haut nombre de voies fournit une bande passante suffisante pour ces GPU.

Les résultats suggèrent que le matériel d'entreprise décommissionné reste une source rentable de VRAM pour les passionnés de homelab disposés à compiler des logiciels plus anciens à partir du code source.