固定された165トークンの化学ベースに対するバイトペアエンコーディング（BPE）とUnigram-LMトークナイザーの制御比較により、2つのアルゴリズムが構造的に異なるサブワード語彙を生成することが明らかになった。3つのコーパス類型およびさまざまな境界ポリシーにわたって、学習されたピースのアルゴリズム間ジャカード係数は0.161を超えない。

  • Unigram-LMは、BPEよりも29〜41%多いトークンにホールドアウト分子を分割する。
  • アルゴリズムは切断位置についてはほぼ一致するが深さが異なり、BPEは80〜99%の分子においてUnigram-LMのセグメンテーションの厳格な粗視化として機能する。
  • この分離は、コーパスの種類、境界ポリシー、語彙サイズにわたって持続し、元のスケールの8倍であっても同様である。

本研究は、サブワードアルゴリズムの選択が化学言語モデルにとって自由なデフォルトではなく、重要なモデリング決定であることを結論付けている。