Контролируемое сравнение токенизаторов byte-pair encoding (BPE) и Unigram-LM на фиксированной базе из 165 токенов в химии показывает, что два алгоритма создают структурно разные подсловарные словари. В трех типологиях корпусов и при различных политиках границ выученные фрагменты демонстрируют межалгоритмное пересечение по Жаккару, не превышающее 0.161.

  • Unigram-LM сегментирует отложенные молекулы на на 29-41% больше токенов, чем BPE.
  • Алгоритмы в основном согласны с тем, где делать разрез, но различаются по глубине, причем BPE действует как строгое укрупнение сегментации Unigram-LM для 80-99% молекул.
  • Это разделение сохраняется во всех типах корпусов, политиках границ и размерах словарей, даже при увеличении масштаба в восемь раз.

Исследование приходит к выводу, что выбор алгоритма подслов является критическим решением моделирования, а не свободным значением по умолчанию для химических языковых моделей.