Проект llama.cpp выпустил сборку b10003, которая включает значительную рефакторинг примера `tokenize`. Утилита была перенесена на использование `common_params_parse`, заменив свою предыдущую ручную логику разбора аргументов на общие вспомогательные функции.

  • Открывает флаги загрузки модели (-m, -mu, -dr, -hf, -hff, --offline, HF_TOKEN) для LLAMA_EXAMPLE_TOKENIZE.
  • Регистрирует --ids, --stdin, --no-bos, --no-parse-special и --show-count как общие аргументы.
  • Устанавливает значение parse_special по умолчанию равным true для TOKENIZE, чтобы сохранить существующее поведение.
  • Направляет ошибки через LOG_ERR вместо fprintf(stderr).

Это обновление стандартизирует интерфейс утилиты tokenize с другими примерами llama.cpp, улучшая согласованность и поддерживаемость кодовой базы.