Le projet llama.cpp a publié la version b10003, qui inclut une refonte significative de l'exemple `tokenize`. L'outil a été migré pour utiliser `common_params_parse`, remplaçant sa logique d'analyse des arguments personnalisée par des helpers partagés.
- Expose les indicateurs de sourcing de modèle (-m, -mu, -dr, -hf, -hff, --offline, HF_TOKEN) à LLAMA_EXAMPLE_TOKENIZE.
- Enregistre --ids, --stdin, --no-bos, --no-parse-special et --show-count comme arguments communs.
- Définit la valeur par défaut de parse_special sur true pour TOKENIZE afin de préserver le comportement existant.
- Achemine les erreurs via LOG_ERR au lieu de fprintf(stderr).
Cette mise à jour standardise l'interface de l'outil tokenize avec les autres exemples de llama.cpp, améliorant la cohérence et la maintenabilité de la base de code.