이 가이드는 특정 양자화 형식과 llama.cpp의 커스텀 빌드를 사용하여 Prism ML Ternary-Bonsai-27B 모델을 로컬에서 실행하는 방법을 설명합니다. 이 과정에는 Hugging Face에서 Q2_0 GGUF 파일을 다운로드하고, PrismML-Eng 포크의 llama.cpp를 하드웨어별 플래그로 컴파일하는 작업이 포함됩니다.

  • huggingface-cli 또는 Hugging Face 저장소에서 직접 Ternary-Bonsai-27B-Q2_0.gguf 파일을 다운로드합니다.
  • PrismML-Eng/llama.cpp 저장소를 복제하고 GGML_METAL(Mac용) 또는 GGML_CUDA(CUDA 호환 GPU용)를 활성화하여 컴파일합니다.
  • 모델 파일을 가리키는 llama-server 바이너리를 실행하고 권장 기본값인 --temp 0.7, --top-p 0.95, 그리고 --top-k 20을 사용합니다.
  • 웹 브라우저에서 localhost:8080을 통해 인터랙티브 인터페이스에 접속합니다.

이 기사는 고유한 양자화 형식 때문에 커스텀 llama.cpp 빌드가 필요한 이 특정 모델 변형을 실행하는 데 필요한 기술적 단계를 제공합니다.