Como executar o Prism Bonsai 27B

Este guia explica como executar o modelo Prism ML Ternary-Bonsai-27B localmente usando um formato de quantização específico e uma compilação personalizada do llama.cpp. O processo envolve baixar o arquivo Q2_0 GGUF do Hugging Face e compilar o fork PrismML-Eng do llama.cpp com flags específicas de hardware.

• Baixe o arquivo Ternary-Bonsai-27B-Q2_0.gguf usando huggingface-cli ou diretamente do repositório do Hugging Face.
• Clone o repositório PrismML-Eng/llama.cpp e compile-o, habilitando GGML_METAL para Mac ou GGML_CUDA para GPUs compatíveis com CUDA.
• Inicie o binário llama-server apontando para o arquivo do modelo, usando os padrões recomendados de --temp 0.7, --top-p 0.95 e --top-k 20.
• Acesse a interface interativa via localhost:8080 em um navegador web.

O artigo fornece as etapas técnicas necessárias para executar esta variante específica do modelo, que requer a compilação personalizada do llama.cpp devido ao seu formato de quantização único.