Esta guía explica cómo ejecutar el modelo Prism ML Ternary-Bonsai-27B localmente utilizando un formato de cuantización específico y una compilación personalizada de llama.cpp. El proceso implica descargar el archivo Q2_0 GGUF desde Hugging Face y compilar la bifurcación PrismML-Eng de llama.cpp con indicadores específicos del hardware.

  • Descargue el archivo Ternary-Bonsai-27B-Q2_0.gguf usando huggingface-cli o directamente desde el repositorio de Hugging Face.
  • Clone el repositorio PrismML-Eng/llama.cpp y compílelo, habilitando GGML_METAL para Mac o GGML_CUDA para GPUs compatibles con CUDA.
  • Inicie el binario llama-server apuntando al archivo del modelo, utilizando los valores predeterminados recomendados de --temp 0.7, --top-p 0.95 y --top-k 20.
  • Acceda a la interfaz interactiva a través de localhost:8080 en un navegador web.

El artículo proporciona los pasos técnicos necesarios para ejecutar esta variante específica del modelo, que requiere la compilación personalizada de llama.cpp debido a su formato de cuantización único.