يشرح هذا الدليل كيفية تشغيل نموذج Prism ML Ternary-Bonsai-27B محليًا باستخدام تنسيق تكميم محدد وإصدار مخصص من llama.cpp. تتضمن العملية تنزيل ملف GGUF Q2_0 من Hugging Face ومضاخمة fork PrismML-Eng لـ llama.cpp مع أعلام محددة للأجهزة.
- قم بتنزيل ملف Ternary-Bonsai-27B-Q2_0.gguf باستخدام huggingface-cli أو مباشرة من مستودع Hugging Face.
- قم بنسخ مستودع PrismML-Eng/llama.cpp ومضاخمته، مع تمكين GGML_METAL لـ Mac أو GGML_CUDA لبطاقات الرسوميات المتوافقة مع CUDA.
- قم بتشغيل ملف llama-server الثنائي مشيرًا إلى ملف النموذج، باستخدام الإعدادات الافتراضية الموصى بها وهي --temp 0.7 و --top-p 0.95 و --top-k 20.
- الوصول إلى الواجهة التفاعلية عبر localhost:8080 في متصفح الويب.
يقدم المقال الخطوات التقنية اللازمة لتنفيذ هذا المتغير المحدد من النموذج، والذي يتطلب بناء llama.cpp مخصصًا بسبب تنسيق التكميم الفريد الخاص به.