一位俄罗斯用户计划构建一台完全离线的AI机器，以应对预期的互联网限制，并正在寻求硬件和性能优化方面的建议。拟议的配置包括两颗Intel Xeon 2683v4 CPU、256GB DDR4 ECC RAM以及一块NVIDIA V100 16GB GPU，预算约为$1500。

  • 目标模型包括Deepseek V4 Flash (284B)和MiMo V2.5 (310B)，前者仅使用CPU推理的预估速度为每秒6-7个token。
  • 用户报告称，在Qwen3.5 9B模型的初步测试中，使用ik_llama.cpp比标准llama.cpp将提示处理速度提高了一倍。
  • 收集到的优化建议包括配置批处理大小、设置OMP_WAIT_POLICY=ACTIVE以及利用MTP模型。
  • 人们仍然担心处理器间通信延迟以及支持八个内存通道的主板 availability，以便未来扩展GPU。