El creador de AI Hardware Fit ha lanzado una herramienta gratuita y de código abierto para navegador, diseñada para ayudar a los usuarios a determinar si un modelo local cabe en su GPU y comparar opciones de hardware adecuadas. La herramienta aborda la complejidad de armar archivos de modelos, cuantización, longitud de contexto y soporte de tiempo de ejecución desde fuentes dispares.
- Los usuarios pueden comenzar con una GPU específica para ver modelos candidatos, cuantizaciones sugeridas, rangos estimados de VRAM y velocidad, y comandos para Ollama o llama.cpp.
- Alternativamente, comenzar con un modelo permite a los usuarios comparar GPUs adecuadas basándose en presupuesto, consumo de energía y factor de forma.
- El catálogo incluye actualmente 151 configuraciones predefinidas de GPU y 332 modelos de IA, con selecciones rápidas para Mac mini M4 (32GB) y M4 Pro (64GB).
- La interfaz muestra fronteras de calidad de VRAM utilizando puntuaciones de benchmarks publicadas y fronteras de precio-velocidad para GPUs compatibles.
La herramienta tiene como objetivo proporcionar evidencia transparente etiquetando mediciones en condiciones exactas, rangos calibrados y estimaciones calculadas por separado, ayudando a los usuarios a tomar decisiones informadas de planificación para el despliegue local de IA.