Le créateur d'AI Hardware Fit a publié un outil navigateur gratuit et open-source conçu pour aider les utilisateurs à déterminer si un modèle local tient sur leur GPU et à comparer les options matérielles appropriées. L'outil s'attaque à la complexité liée au regroupement des fichiers de modèle, de la quantification, de la longueur du contexte et du support d'exécution provenant de sources disparates.
- Les utilisateurs peuvent partir d'un GPU spécifique pour afficher les modèles candidats, les quantifications suggérées, les plages estimées de VRAM et de vitesse, ainsi que les commandes pour Ollama ou llama.cpp.
- Alternativement, partir d'un modèle permet aux utilisateurs de comparer les GPU appropriés en fonction du budget, de la consommation électrique et du facteur de forme.
- Le catalogue comprend actuellement 151 préréglages de GPU et 332 modèles IA, avec des sélections rapides pour Mac mini M4 (32 Go) et M4 Pro (64 Go).
- L'interface affiche les frontières de qualité VRAM à l'aide des scores de benchmark publiés et les frontières prix-vitesse pour les GPU compatibles.
L'outil vise à fournir des preuves transparentes en étiquetant séparément les mesures en conditions exactes, les plages calibrées et les estimations calculées, aidant ainsi les utilisateurs à prendre des décisions d'planification éclairées pour le déploiement local de l'IA.