llama.cpp プロジェクトはビルド b10003 をリリースし、`tokenize` サンプルの大幅なリファクタリングが含まれています。このツールは `common_params_parse` の使用に移行され、以前の手動で実装された引数解析ロジックが共有ヘルパーに置き換えられました。

  • LLAMA_EXAMPLE_TOKENIZE に対してモデル取得フラグ (-m, -mu, -dr, -hf, -hff, --offline, HF_TOKEN) を公開。
  • --ids, --stdin, --no-bos, --no-parse-special, --show-count を共通引数として登録。
  • TOKENIZE の既存の動作を維持するため、parse_special のデフォルト値を true に設定。
  • エラー処理を fprintf(stderr) から LOG_ERR へルーティング。

この更新により、tokenize ツールのインターフェースが他の llama.cpp サンプルと標準化され、コードベース全体の一貫性と保守性が向上しました。