Un desarrollador ha publicado en GitHub un conjunto de datos abierto que detalla qué modelos de lenguaje grande (LLM) locales se ajustan a niveles específicos de RAM y VRAM, desde 8 GB hasta 128 GB. El proyecto aborda la dificultad común de determinar la compatibilidad del modelo con hardware como un MacBook de 16 GB o una NVIDIA RTX 3060.
El conjunto de datos incluye 62 modelos con detalles sobre cuantización, tamaño de carga y comandos de Ollama. Proporciona una regla general: los modelos Q4_K_M requieren aproximadamente 0,6 GB de memoria por cada mil millones de parámetros, sugiriendo dimensionar para aproximadamente el 70% de la RAM disponible para la sobrecarga del sistema. Los datos cubren presupuestos utilizables y recuentos máximos de parámetros para niveles que incluyen 8 GB (~8B params), 16 GB (~14B), 24 GB (~27B), 32 GB (~35B), 48 GB (~47B), 64 GB (~70B) y 128 GB (~122B).
El conjunto de datos está disponible bajo licencia CC BY con una API JSON para acceso programático, cubriendo Apple Silicon y hardware NVIDIA de consumo. El autor invita a contribuciones de la comunidad para corregir errores o agregar modelos y cuantizaciones faltantes.