Cara menjalankan Prism Bonsai 27B

Panduan ini menjelaskan cara menjalankan model Prism ML Ternary-Bonsai-27B secara lokal dengan menggunakan format kuantisasi tertentu dan build khusus dari llama.cpp. Prosesnya melibatkan mengunduh file GGUF Q2_0 dari Hugging Face dan mengompilasi fork PrismML-Eng dari llama.cpp dengan flag spesifik perangkat keras.

• Unduh file Ternary-Bonsai-27B-Q2_0.gguf menggunakan huggingface-cli atau langsung dari repositori Hugging Face.
• Clone repositori PrismML-Eng/llama.cpp dan kompilasi, mengaktifkan GGML_METAL untuk Mac atau GGML_CUDA untuk GPU yang kompatibel dengan CUDA.
• Luncurkan biner llama-server yang menunjuk ke file model, menggunakan default yang direkomendasikan yaitu --temp 0.7, --top-p 0.95, dan --top-k 20.
• Akses antarmuka interaktif melalui localhost:8080 di browser web.

Artikel ini menyediakan langkah-langkah teknis yang diperlukan untuk menjalankan varian model spesifik ini, yang memerlukan build llama.cpp khusus karena format kuantisasinya yang unik.