Это руководство объясняет, как запустить модель Prism ML Ternary-Bonsai-27B локально с использованием специфического формата квантования и пользовательской сборки llama.cpp. Процесс включает загрузку файла Q2_0 GGUF с Hugging Face и компиляцию форка PrismML-Eng/llama.cpp с флагами, специфичными для оборудования.

  • Загрузите файл Ternary-Bonsai-27B-Q2_0.gguf с помощью huggingface-cli или напрямую из репозитория Hugging Face.
  • Клонируйте репозиторий PrismML-Eng/llama.cpp и скомпилируйте его, включив GGML_METAL для Mac или GGML_CUDA для GPU, совместимых с CUDA.
  • Запустите бинарный файл llama-server, указав путь к файлу модели, используя рекомендуемые значения по умолчанию: --temp 0.7, --top-p 0.95 и --top-k 20.
  • Получите доступ к интерактивному интерфейсу через localhost:8080 в веб-браузере.

Статья предоставляет необходимые технические шаги для выполнения этой конкретной версии модели, которая требует пользовательской сборки llama.cpp из-за ее уникального формата квантования.