llama.cpp 프로젝트는 빌드 b10003을 출시했으며, 여기에는 `tokenize` 예제의 상당한 리팩토링이 포함되어 있습니다. 이 도구는 `common_params_parse`를 사용하도록 마이그레이션되었으며, 이전의 수동으로 작성된 인수 파싱 로직이 공유 헬퍼로 대체되었습니다.

  • LLAMA_EXAMPLE_TOKENIZE에 모델 소스 플래그(-m, -mu, -dr, -hf, -hff, --offline, HF_TOKEN)를 노출합니다.
  • --ids, --stdin, --no-bos, --no-parse-special, --show-count를 공통 인자로 등록합니다.
  • TOKENIZE의 기존 동작을 유지하기 위해 parse_special 기본값을 true로 설정합니다.
  • 오류를 fprintf(stderr) 대신 LOG_ERR로 라우팅합니다.

이 업데이트는 tokenize 도구의 인터페이스를 다른 llama.cpp 예제와 표준화하여 코드베이스 전반의 일관성과 유지보수성을 개선했습니다.