Un usuario en Rusia está planeando construir un sistema de IA completamente sin conexión debido a las restricciones anticipadas de internet y busca consejos sobre hardware y optimización del rendimiento. La configuración propuesta incluye dos CPUs Intel Xeon 2683v4, 256 GB de RAM DDR4 ECC y una única GPU NVIDIA V100 de 16 GB, con un presupuesto estimado de $1500.
- Los modelos objetivo incluyen Deepseek V4 Flash (284B) y MiMo V2.5 (310B), con una inferencia solo en CPU estimada en 6-7 tokens por segundo para el primero.
- El usuario informa que usar ik_llama.cpp duplicó la velocidad de procesamiento del prompt en comparación con llama.cpp estándar en pruebas preliminares con un modelo Qwen3.5 9B.
- Los consejos de optimización recopilados incluyen configurar tamaños de lote, establecer OMP_WAIT_POLICY=ACTIVE y utilizar modelos MTP.
- Permanecen preocupaciones sobre la latencia de comunicación entre procesadores y la disponibilidad de placas base que soporten ocho canales de memoria para futuras expansiones de GPU.