このガイドでは、特定の量子化形式とllama.cppのカスタムビルドを使用して、Prism ML Ternary-Bonsai-27Bモデルをローカルで実行する方法を説明します。プロセスには、Hugging FaceからQ2_0 GGUFファイルをダウンロードし、PrismML-Engフォークのllama.cppをハードウェア固有のフラグでコンパイルすることが含まれます。

  • huggingface-cliまたはHugging Faceリポジトリから直接Ternary-Bonsai-27B-Q2_0.ggufファイルをダウンロードします。
  • PrismML-Eng/llama.cppリポジトリをクローンし、GGML_METAL（Mac用）またはGGML_CUDA（CUDA対応GPU用）を有効にしてコンパイルします。
  • モデルファイルにポイントするllama-serverバイナリを実行し、推奨されるデフォルトの--temp 0.7、--top-p 0.95、および--top-k 20を使用します。
  • ウェブブラウザでlocalhost:8080を介してインタラクティブなインターフェースにアクセスします。

この記事は、この特定のモデルバリアントを実行するために必要な技術的な手順を提供しており、そのユニークな量子化形式のためにカスタムllama.cppビルドが必要です。