Un utilisateur demande des conseils pour construire un rig LLM hors ligne avec des CPU Xeon doubles et un GPU V100

Un utilisateur en Russie prévoit de construire un rig AI entièrement hors ligne en raison de restrictions internet anticipées et cherche des conseils sur le matériel et l'optimisation des performances. La configuration proposée comprend deux CPUs Intel Xeon 2683v4, 256 Go de RAM ECC DDR4 et un seul GPU NVIDIA V100 16 Go, avec un budget estimé à 1500 $.

• Les modèles cibles incluent Deepseek V4 Flash (284B) et MiMo V2.5 (310B), l'inférence uniquement sur CPU étant estimée à 6-7 tokens par seconde pour le premier.
• L'utilisateur rapporte que l'utilisation de ik_llama.cpp a doublé la vitesse de traitement des prompts par rapport à llama.cpp standard lors de tests préliminaires sur un modèle Qwen3.5 9B.
• Les conseils d'optimisation collectés incluent la configuration des tailles de lot, la définition de OMP_WAIT_POLICY=ACTIVE et l'utilisation de modèles MTP.
• Des préoccupations persistent concernant la latence de communication interprocesseur et la disponibilité des cartes mères prenant en charge huit canaux mémoire pour une future expansion GPU.