如何运行 Prism Bonsai 27B

本指南解释了如何使用特定的量化格式和 llama.cpp 的自定义构建在本地运行 Prism ML Ternary-Bonsai-27B 模型。该过程涉及从 Hugging Face 下载 Q2_0 GGUF 文件，并使用硬件特定的标志编译 PrismML-Eng fork 的 llama.cpp。

• 使用 huggingface-cli 或直接从 Hugging Face 仓库下载 Ternary-Bonsai-27B-Q2_0.gguf 文件。
• 克隆 PrismML-Eng/llama.cpp 仓库并编译它，为 Mac 启用 GGML_METAL，为兼容 CUDA 的 GPU 启用 GGML_CUDA。
• 启动 llama-server 二进制文件并指向模型文件，使用推荐的默认值 --temp 0.7、--top-p 0.95 和 --top-k 20。
• 在 Web 浏览器中通过 localhost:8080 访问交互式界面。

本文提供了执行此特定模型变体所需的必要技术步骤，由于其独特的量化格式，该变体需要自定义的 llama.cpp 构建。