यह गाइड बताती है कि विशिष्ट क्वांटीज़ेशन फॉर्मेट और llama.cpp के एक कस्टम बिल्ड का उपयोग करके Prism ML Ternary-Bonsai-27B मॉडल को स्थानीय रूप से कैसे चलाया जाए। इस प्रक्रिया में Hugging Face से Q2_0 GGUF फ़ाइल डाउनलोड करना और हार्डवेयर-विशिष्ट फ्लैग के साथ llama.cpp के PrismML-Eng फोर्क को कंपाइल करना शामिल है।
- huggingface-cli का उपयोग करके या सीधे Hugging Face रिपॉजिटरी से Ternary-Bonsai-27B-Q2_0.gguf फ़ाइल डाउनलोड करें।
- PrismML-Eng/llama.cpp रिपॉजिटरी को क्लोन करें और कंपाइल करें, Mac के लिए GGML_METAL सक्षम करें या CUDA-संगत GPU के लिए GGML_CUDA सक्षम करें।
- मॉडल फ़ाइल की ओर इशारा करते हुए llama-server बाइनरी को लॉन्च करें, --temp 0.7, --top-p 0.95, और --top-k 20 के अनुशंसित डिफ़ॉल्ट मान का उपयोग करके।
- वेब ब्राउज़र में localhost:8080 के माध्यम से इंटरैक्टिव इंटरफ़ेस तक पहुंचें।
लेख इस विशिष्ट मॉडल वैरिएंट को निष्पादित करने के लिए आवश्यक तकनीकी चरण प्रदान करता है, जिसके लिए इसके अद्वितीय क्वांटीज़ेशन फॉर्मेट के कारण llama.cpp के कस्टम बिल्ड की आवश्यकता होती है।