llama.cpp प्रोजेक्ट ने बिल्ड b10003 जारी किया, जिसमें `tokenize` उदाहरण का एक महत्वपूर्ण रीफैक्टरिंग शामिल है। टूल को `common_params_parse` का उपयोग करने के लिए माइग्रेट किया गया है, जिसने अपने पिछले हैंड-रोल्ड तर्क पार्सिंग लॉजिक को साझा हेल्पर्स से बदल दिया है।
- LLAMA_EXAMPLE_TOKENIZE के लिए मॉडल-सोर्सिंग फ्लैग (-m, -mu, -dr, -hf, -hff, --offline, HF_TOKEN) को एक्सपोज़ करता है।
- --ids, --stdin, --no-bos, --no-parse-special, और --show-count को सामान्य तर्क के रूप में रजिस्टर करता है।
- मौजूदा व्यवहार को बनाए रखने के लिए TOKENIZE के लिए parse_special डीफ़ॉल्ट को true पर सेट करता है।
- fprintf(stderr) के बजाय LOG_ERR के माध्यम से त्रुटियों को रूट करता है।
यह अपडेट tokenize टूल के इंटरफ़ेस को अन्य llama.cpp उदाहरणों के साथ मानकीकृत करता है, जिससे कोडबेस में संगति और बनाए रखने योग्यता में सुधार होता है।