Pengguna mencari saran untuk membangun rig LLM offline dengan CPU Xeon ganda dan GPU V100

Seorang pengguna di Rusia berencana membangun rig AI sepenuhnya offline karena pembatasan internet yang diperkirakan, dan mencari saran tentang perangkat keras serta optimasi kinerja. Konfigurasi yang diusulkan mencakup dua CPU Intel Xeon 2683v4, RAM ECC DDR4 sebesar 256GB, dan satu GPU NVIDIA V100 16GB, dengan anggaran estimasi $1500.

• Model target termasuk Deepseek V4 Flash (284B) dan MiMo V2.5 (310B), dengan inferensi hanya-CPU diperkirakan mencapai 6-7 token per detik untuk yang pertama.
• Pengguna melaporkan bahwa menggunakan ik_llama.cpp menggandakan kecepatan pemrosesan prompt dibandingkan dengan llama.cpp standar dalam pengujian awal pada model Qwen3.5 9B.
• Tips optimasi yang dikumpulkan meliputi konfigurasi ukuran batch, pengaturan OMP_WAIT_POLICY=ACTIVE, dan pemanfaatan model MTP.
• Kekhawatiran tetap ada mengenai latensi komunikasi antar-prosesor dan ketersediaan motherboard yang mendukung delapan saluran memori untuk ekspansi GPU di masa depan.