고정된 165토큰 화학 베이스에 대한 바이트 페어 인코딩(BPE)과 Unigram-LM 토크나이저의 통제 비교 결과, 두 알고리즘이 구조적으로 다른 서브워드 어휘를 생성한다는 것이 밝혀졌다. 세 가지 코퍼스 유형과 다양한 경계 정책 전반에 걸쳐 학습된 조각들의 교차 알고리즘 자카드 중복도는 0.161을 초과하지 않는다.

  • Unigram-LM은 BPE보다 29~41% 더 많은 토큰으로 홀드아웃 분자를 분할한다.
  • 알고리즘은 절단 위치에서는 주로 일치하지만 깊이가 다르며, BPE는 80~99%의 분자에 대해 Unigram-LM의 분할에 대한 엄격한 coarseening(거시화) 역할을 한다.
  • 이 분리 현상은 코퍼스 유형, 경계 정책 및 어휘 크기에 걸쳐 지속되며, 원래 규모의 8배에서도 동일하게 유지된다.

이 연구는 서브워드 알고리즘 선택이 화학 언어 모델에 있어 자유로운 기본값이 아니라 중요한 모델링 결정임을 결론짓는다.