Ce guide explique comment exécuter le modèle Prism ML Ternary-Bonsai-27B localement en utilisant un format de quantification spécifique et une version personnalisée de llama.cpp. Le processus consiste à télécharger le fichier GGUF Q2_0 depuis Hugging Face et à compiler la fork PrismML-Eng de llama.cpp avec des indicateurs spécifiques au matériel.

  • Téléchargez le fichier Ternary-Bonsai-27B-Q2_0.gguf en utilisant huggingface-cli ou directement depuis le dépôt Hugging Face.
  • Clonez le dépôt PrismML-Eng/llama.cpp et compilez-le, en activant GGML_METAL pour Mac ou GGML_CUDA pour les GPU compatibles CUDA.
  • Lancez le binaire llama-server en pointant vers le fichier modèle, en utilisant les valeurs par défaut recommandées : --temp 0.7, --top-p 0.95 et --top-k 20.
  • Accédez à l'interface interactive via localhost:8080 dans un navigateur web.

L'article fournit les étapes techniques nécessaires pour exécuter cette variante de modèle spécifique, qui nécessite une version personnalisée de llama.cpp en raison de son format de quantification unique.