يخطط مستخدم لبناء نموذج لغوي كبير غير خاضع للرقابة، أصلي باللغة اليونانية، للنشر المحلي باستخدام نقطة التفتيش ilsp/Llama-Krikri-8B-Instruct. تتضمن الخطة المقترحة إزالة الرقابة عن النموذج باستخدام Heretic (heretic-llm)، وتحويله إلى تنسيق GGUF Q4_K_M، وتشغيل الاستدلال على جهاز GMKtec EVO-X3 المزود بمعالج AMD Ryzen AI MAX+ 395 عبر Vulkan.

يبحث المستخدم عن نصائح المجتمع حول عدة جوانب تقنية لهذا سير العمل:

  • ما إذا كان Heretic يدعم إزالة الرقابة من Llama-Krikri-8B أو غيرها من التعديلات الدقيقة اليونانية.
  • التسلسل الأمثل للمعالجة: إزالة الرقابة على ملفات safetensors قبل التحويل مقابل استخدام abliterate.cpp مباشرةً على ملفات GGUF.
  • أفضل مستوى للضغط (Q4_K_M، Q5_K_M، أو Q6_K) لتحقيق التوازن بين الجودة والسرعة على عتاد Strix Halo.
  • أعلام Vulkan الموصى بها لـ llama.cpp، مثل -ngl 99، و-c 32768، وflash attention، ومخزن KV q8_0، والاستدلال التخميني.
  • تحديد أي نماذج يونانية أخرى غير خاضعة للرقابة موجودة بالفعل بخلاف Krikri أو Meltemi أو Sophea.