r/LocalLLaMAのユーザーは、i5-8500、48 GBのDDR4、12 GB VRAM搭載のRTX 3060がすでに組み込まれている現在のセットアップに、2枚目のRTX 3060を追加することを検討しています。現在、Gemma 4 26B-A4B (Q4_K_M) を実行していますが、洞察に欠けると感じています。一方、31BモデルはVRAM不足のため遅すぎます。

  • ユーザーは、RTX 3060を2枚使用することで、31Bの密集型モデルのQ4またはQ5量子化版を読み込めるかどうかを知りたいと考えています。
  • 2番目のPCIeスロットがx16ではなくx4として配線されていることによるパフォーマンス低下を懸念しています。
  • ユーザーは、x4スロットの限られた帯域幅によって引き起こされるボトルネックを緩和するためにレイヤー分割が役立つかどうかを質問しています。