llama.cpp b10003 menyelaraskan alat tokenize dengan argumen umum

Proyek llama.cpp merilis build b10003, yang mencakup refaktor signifikan pada contoh `tokenize`. Alat ini telah dimigrasikan untuk menggunakan `common_params_parse`, menggantikan logika parsing argumen yang dibuat manual sebelumnya dengan helper bersama.

• Mengekspos flag sumber model (-m, -mu, -dr, -hf, -hff, --offline, HF_TOKEN) ke LLAMA_EXAMPLE_TOKENIZE.
• Mendaftarkan --ids, --stdin, --no-bos, --no-parse-special, dan --show-count sebagai argumen umum.
• Mengatur parse_special default menjadi true untuk TOKENIZE guna mempertahankan perilaku yang ada.
• Mengarahkan error melalui LOG_ERR alih-alih fprintf(stderr).

Pembaruan ini menstandardisasi antarmuka alat tokenize dengan contoh llama.cpp lainnya, meningkatkan konsistensi dan keterawatan di seluruh basis kode.