Uma comparação controlada dos tokenizadores byte-pair encoding (BPE) e Unigram-LM em uma base fixa de 165 tokens de química revela que os dois algoritmos produzem vocabulários de subpalavras estruturalmente diferentes. Em três tipologias de corpus e várias políticas de limite, as peças aprendidas mostram uma sobreposição de Jaccard entre algoritmos que nunca excede 0.161.

  • O Unigram-LM segmenta moléculas não vistas em 29-41% mais tokens do que o BPE.
  • Os algoritmos concordam amplamente sobre onde cortar, mas diferem em profundidade, com o BPE atuando como um refinamento estrito da segmentação do Unigram-LM em 80-99% das moléculas.
  • Essa separação persiste através de tipos de corpus, políticas de limite e tamanhos de vocabulário, mesmo em oito vezes a escala original.

O estudo conclui que a escolha do algoritmo de subpalavra é uma decisão crítica de modelagem em vez de um padrão livre para modelos de linguagem química.