ロシアのユーザーは、予想されるインターネット規制により完全にオフラインのAIリグを構築する計画を立てており、ハードウェアとパフォーマンス最適化のアドバイスを探しています。提案された構成には、2つのIntel Xeon 2683v4 CPU、256GBのDDR4 ECC RAM、および1台のNVIDIA V100 16GB GPUが含まれ、推定予算は1500ドルです。

  • ターゲットモデルにはDeepseek V4 Flash (284B)とMiMo V2.5 (310B)が含まれ、前者のCPUのみでの推論は毎秒6〜7トークンと見積もられています。
  • ユーザーは、Qwen3.5 9Bモデルでの予備テストにおいて、ik_llama.cppを使用すると標準的なllama.cppと比較してプロンプト処理速度が2倍になったと報告しています。
  • 収集された最適化のヒントには、バッチサイズの構成、OMP_WAIT_POLICY=ACTIVEの設定、およびMTPモデルの利用が含まれます。
  • プロセッサ間通信のレイテンシと、将来のGPU拡張のための8メモリチャンネルをサポートするマザーボードの可用性に関する懸念が残っています。