在固定的165个token的化学基础语料上，对字节对编码（BPE）和Unigram-LM分词器进行的受控比较显示，这两种算法生成了结构不同的子词词表。在三种语料类型和各种边界策略下，学习到的片段显示的跨算法Jaccard重叠从未超过0.161。

  • Unigram-LM将保留的分子分割成比BPE多29-41%的token。
  • 算法在很大程度上同意在哪里切分，但在深度上存在差异，BPE在80-99%的分子上充当Unigram-LM分割的严格粗化。
  • 这种分离在语料类型、边界策略和词表大小中持续存在，即使在原始规模的八倍下也是如此。

该研究得出结论，子词算法的选择是一个关键的建模决策，而不是化学语言模型的自由默认值。