Um usuário do Reddit demonstra a execução de modelos de linguagem grandes com mais de 100 bilhões de parâmetros em um laptop com Intel i7-8750H, 20 GB de RAM e uma GPU móvel GTX 1050. A configuração depende fortemente da descarga dos parâmetros do modelo para uma unidade Samsung NVMe usando acesso por arquivo mapeado em memória (mmap).
- O usuário emprega estritamente modelos Mixture of Experts (MoE) para evitar sobrecarregar a CPU, enquanto os modelos densos são considerados inadequados.
- As configurações de quantização incluem Q3_K_M para modelos grandes padrão e Q2 para aqueles que excedem 700B de parâmetros com mais de 20B de parâmetros ativos.
- Modelos testados especificamente incluem Deepseek-V4-Flash (UD-IQ3_XXS) alcançando 1.0-1.8 tokens por segundo e Nemotron-3-Super-120B-A12B (UD-Q3_K_M) alcançando 1.5-2.5 tokens por segundo.
- O fluxo de trabalho utiliza o LM Studio com processamento em lote para tarefas como engenharia reversa e auditoria de código, acomodando uma janela de contexto de 16K a 90K tokens.
Esta configuração permite que usuários em regiões com opções de pagamento internacional restritas utilizem modelos locais poderosos como alternativa aos serviços em nuvem.