あるRedditユーザーは、4つのNVIDIA Blackwell GPUを搭載し、約384GBのVRAMを提供するカスタムローカルサーバーにデプロイする大規模言語モデルについて、コミュニティからのアドバイスを探しています。そのユーザーの組織は、内部ポリシー管理や思考タスクのためにモデルをホストする計画で、2〜3人のパワーユーザーと最大20人の同時利用者を想定しています。

投稿者は現在DeepSeek V3 Flashに傾倒していることを明かし、ハードウェア仕様には4つのRTX PRO 6000が含まれていると述べています。また、システムを8つのBlackwell GPUに拡張した場合にモデル選択がどのように変わる可能性があるかについても理解したいと考えています。

この問い合わせは、エンタープライズグレードの内部AIアプリケーション向けにハイエンドのローカル推論ハードウェアへの関心が高まっていることを示しています。