本記事は、ローカル大規模言語モデルの実行におけるTesla V100-SXM2-16GBモジュールのパフォーマンスを詳細に解説し、bf16やint8のテンソル演算を欠くものの、推論においてHBM2帯域の高さが主要な資産であることを強調しています。

  • 単一モジュールはGemma 4 26BをGPU上で完全に実行し、TCCモードで99.8 tok/s、WSL2/MCDMで56.8 tok/sを達成します。
  • デュアルモジュール構成では32GBのVRAMと約2倍の帯域幅が提供され、テンソル分割によりQwen3.6-35Bを完全にメモリ内に保持して実行できます。
  • 短いプロンプトによる同時マルチエージェント負荷下では、集計スループットは1エージェントで62.7 tok/sから16エージェントで338.1 tok/sまでスケールします。
  • リアルな約24kトークンのシステムプロンプトを使用する場合、8〜16の同時エージェントに対して集計スループットは150〜175 tok/s程度に頭打ちになります。
  • ドライバーサポートはCUDA 13.3/R595でVoltaのサポートが終了するため、バージョンR570からR580までに限られます。
  • デュアル構成では、負荷下でのハードリブートを防ぐために特定のPSUトランジェント応答処理が必要です。

著者は、Q4量子化が多くのタスクで十分機能する一方で、長いエージェントチェーンにおいては弱点になると指摘し、32GBのデュアルモジュール容量が許す場合は、Q6_Kウェイトを使用して並列度を品質とトレードオフできることを示唆しています。