Usuário busca conselhos para montar um rig de LLM offline com duas CPUs Xeon e GPU V100

Um usuário na Rússia está planejando construir um rig de IA totalmente offline devido às restrições antecipadas de internet e está buscando conselhos sobre hardware e otimização de desempenho. A configuração proposta inclui dois processadores Intel Xeon 2683v4, 256 GB de RAM DDR4 ECC e uma única GPU NVIDIA V100 de 16 GB, com um orçamento estimado de $1500.

• Os modelos-alvo incluem Deepseek V4 Flash (284B) e MiMo V2.5 (310B), com inferência apenas em CPU estimada em 6-7 tokens por segundo para o primeiro.
• O usuário relata que usar ik_llama.cpp dobrou a velocidade de processamento do prompt em comparação ao llama.cpp padrão em testes preliminares em um modelo Qwen3.5 9B.
• As dicas de otimização coletadas incluem configurar tamanhos de lote, definir OMP_WAIT_POLICY=ACTIVE e utilizar modelos MTP.
• Preocupações permanecem quanto à latência de comunicação entre processadores e à disponibilidade de placas-mãe que suportam oito canais de memória para futura expansão de GPU.