llama.cpp 项目发布了构建版本 b10003,其中包括对 `tokenize` 示例的重大重构。该工具已迁移至使用 `common_params_parse`,用共享辅助函数替换了之前手写的参数解析逻辑。
- 向 LLAMA_EXAMPLE_TOKENIZE 暴露模型来源标志 (-m, -mu, -dr, -hf, -hff, --offline, HF_TOKEN)。
- 将 --ids、--stdin、--no-bos、--no-parse-special 和 --show-count 注册为通用参数。
- 将 TOKENIZE 的 parse_special 默认值设置为 true,以保留现有行为。
- 通过 LOG_ERR 路由错误,而不是 fprintf(stderr)。
此更新使 tokenize 工具的接口与其他 llama.cpp 示例标准化,提高了代码库的一致性和可维护性。