يقوم llama.cpp b10003 بمواءمة أداة tokenize مع المعاملات المشتركة

أصدر مشروع llama.cpp الإصدار b10003، والذي يتضمن إعادة هيكلة كبيرة لمثال `tokenize`. تم ترحيل الأداة لاستخدام `common_params_parse`، مما يحل محل منطق تحليل الحجج المخصص السابق بمساعدات مشتركة.

• يكشف عن أعلام جلب النموذج (-m, -mu, -dr, -hf, -hff, --offline, HF_TOKEN) لـ LLAMA_EXAMPLE_TOKENIZE.
• يسجل --ids، --stdin، --no-bos، --no-parse-special، و --show-count كمعاملات مشتركة.
• يضبط القيمة الافتراضية لـ parse_special على true لـ TOKENIZE للحفاظ على السلوك الحالي.
• يوجه الأخطاء عبر LOG_ERR بدلاً من fprintf(stderr).

يقوم هذا التحديث بتوحيد واجهة أداة tokenize مع أمثلة llama.cpp الأخرى، مما يحسن الاتساق وقابلية الصيانة عبر قاعدة الشفرة البرمجية.