Un usuario de Reddit demuestra la ejecución de modelos de lenguaje grandes con más de 100 mil millones de parámetros en un portátil con Intel i7-8750H, 20 GB de RAM y una GPU móvil GTX 1050. La configuración depende en gran medida de descargar los parámetros del modelo a una unidad Samsung NVMe utilizando acceso por archivo mapeado en memoria (mmap).
- El usuario emplea estrictamente modelos Mixture of Experts (MoE) para evitar sobrecargar la CPU, mientras que los modelos densos se consideran inadecuados.
- Los ajustes de cuantización incluyen Q3_K_M para modelos grandes estándar y Q2 para aquellos que superan los 700B de parámetros con más de 20B de parámetros activos.
- Los modelos probados específicamente incluyen Deepseek-V4-Flash (UD-IQ3_XXS) logrando 1.0-1.8 tokens por segundo y Nemotron-3-Super-120B-A12B (UD-Q3_K_M) logrando 1.5-2.5 tokens por segundo.
- El flujo de trabajo utiliza LM Studio con procesamiento por lotes para tareas como ingeniería inversa y auditoría de código, acomodando una ventana de contexto de 16K a 90K tokens.
Esta configuración permite a los usuarios en regiones con opciones de pago internacionales restringidas utilizar potentes modelos locales como alternativa a los servicios en la nube.