あるユーザーがGLM 5.2モデルをローカルで実行するための広範なハードウェアアップグレードプロセスを詳細に説明し、最終的にAMD Radeon Pro W6800 GPUを5台とNVIDIA RTX 5090を1台搭載した構成に至った。

  • 著者は当初RTX 5090を2台使用していたが、複雑なタスクにはVRAMが不十分だと判明。
  • アップグレードにはThreadripper Pro 9975WX、WRX90 Sage SEマザーボード、および複数のAMD Radeon Pro W6800カードが含まれた。
  • 熱問題により、並列GPU構成は放棄され、オープンケースデザインに切り替えられた。
  • 最終的な5x Pro 6000 + 5090構成は、豊富なコンテキストで98〜99%のタスク完了率を達成した。
  • GPUはフルロード時に70〜75°Cに達し、2台目のPSUと広範な冷却ソリューションが必要だった。

著者は、この構成がGLM 5.2およびKimiモデルを実行するためのすべての機能的ニーズを満たしている一方で、経済的に非現実的であり、損益分岐点に達するまでに10年以上かかると見積もっている。