AI Hardware Fitの作成者は、ローカルモデルがGPUに収まるかどうかをユーザーが判断し、適切なハードウェアオプションを比較できるように設計された無料のオープンソースブラウザツールをリリースしました。このツールは、モデルファイル、量子化、コンテキスト長、ランタイムサポートといった異なる情報源から断片的な情報を組み立てる複雑さに対応しています。

  • ユーザーは特定のGPUから始めて、候補となるモデル、推奨される量子化方法、推定VRAMと速度の範囲、Ollamaやllama.cpp用のコマンドを確認できます。
  • 逆に、モデルから始めることで、予算、消費電力、フォームファクタに基づいて適切なGPUを比較することも可能です。
  • カタログには現在151個のGPUプリセットと332個のAIモデルが含まれており、Mac mini M4 (32GB) および M4 Pro (64GB) のクイックピックも用意されています。
  • インターフェースでは、公開されたベンチマークスコアを用いたVRAM品質のフロンティアと、互換性のあるGPUの価格-速度フロンティアが表示されます。

このツールは、正確な条件での測定値、較正された範囲、計算された推定値をそれぞれ明確にラベル付けすることで透明性を提供し、ローカルAI導入に関する情報に基づいた計画決定を支援することを目指しています。