O criador do AI Hardware Fit lançou uma ferramenta gratuita e de código aberto para navegador, projetada para ajudar os usuários a determinar se um modelo local cabe na sua GPU e comparar opções de hardware adequadas. A ferramenta aborda a complexidade de juntar arquivos de modelos, quantização, comprimento de contexto e suporte de tempo de execução provenientes de fontes diversas.
- Os usuários podem começar com uma GPU específica para visualizar modelos candidatos, quantizações sugeridas, faixas estimadas de VRAM e velocidade, além de comandos para Ollama ou llama.cpp.
- Alternativamente, ao iniciar com um modelo, os usuários podem comparar GPUs adequadas com base no orçamento, consumo de energia e fator de forma.
- O catálogo inclui atualmente 151 predefinições de GPU e 332 modelos de IA, com opções rápidas para Mac mini M4 (32GB) e M4 Pro (64GB).
- A interface exibe as fronteiras de qualidade da VRAM usando pontuações de benchmark publicadas e fronteiras de preço-velocidade para GPUs compatíveis.
A ferramenta visa fornecer evidências transparentes, rotulando medições em condições exatas, faixas calibradas e estimativas calculadas separadamente, ajudando os usuários a tomar decisões informadas de planejamento para implantação de IA local.