本記事は、合計で約100ドルで購入できる2枚のNVIDIA P102-100グラフィックスカードを使用してQwen3.6-35B-A3Bモデルを実行する方法を示しています。この構成では20GBのVRAMと448GB/sのメモリ帯域幅が提供されます。

  • 3人の同時ユーザーに対応し、コンテキストウィンドウは最大32768トークンまでサポートします。
  • テスト中に推論速度は約23.5トークン/秒に達しました。
  • この構成ではllama.cppを使用して、2つのGPU間でモデルの読み込みとスロット割り当てを管理しています。

このアプローチは、ローカルで大規模言語モデルを実行するための低コストな代替手段を提供し、VRAMが少ない安価なカードよりも優れた速度とコンテキスト容量を実現します。