एक उपयोगकर्ता ilsp/Llama-Krikri-8B-Instruct चेकपॉइंट का उपयोग करके स्थानीय तैनाती के लिए एक अनियंत्रित, ग्रीक-स्थानीय बड़े भाषा मॉडल बनाने की योजना बना रहा है। प्रस्तावित योजना में Heretic (heretic-llm) के साथ मॉडल को अक्षम करना, इसे GGUF Q4_K_M फ़ॉर्मेट में परिवर्तित करना, और Vulkan के माध्यम से AMD Ryzen AI MAX+ 395 प्रोसेसर से लैस GMKtec EVO-X3 पर निष्पादन शामिल है।
उपयोगकर्ता इस कार्यप्रणाली के कई तकनीकी पहलुओं पर समुदाय की सलाह खोज रहा है:
- क्या Heretic Llama-Krikri-8B या अन्य ग्रीक फाइन-ट्यून्स को अक्षम करने का समर्थन करता है।
- प्रसंस्करण के लिए इष्टतम क्रम: परिवर्तन से पहले safetensors को अक्षम करना बनाम GGUF फ़ाइलों पर सीधे abliterate.cpp का उपयोग करना।
- गुणवत्ता और गति के बीच संतुलन बनाए रखने के लिए Strix Halo हार्डवेयर पर सर्वोत्तम क्वांटीकरण स्तर (Q4_K_M, Q5_K_M, या Q6_K)।
- llama.cpp Vulkan ध्वजों की सिफारिश, जैसे -ngl 99, -c 32768, flash attention, q8_0 KV cache, और अनुमानित निष्पादन।
- Krikri, Meltemi, या Sophea के अलावा अन्य मौजूदा अनियंत्रित ग्रीक मॉडल की पहचान।