Une comparaison contrôlée des tokenizers byte-pair encoding (BPE) et Unigram-LM sur une base chimique fixe de 165 tokens révèle que les deux algorithmes produisent des vocabulaires de sous-mots structurellement différents. À travers trois typologies de corpus et diverses politiques de limites, la chevauchement Jaccard inter-algorithme des pièces apprises ne dépasse jamais 0,161.
- Unigram-LM segmente les molécules hors-test en 29 à 41 % de tokens de plus que BPE.
- Les algorithmes conviennent largement du lieu de la coupe mais diffèrent en profondeur, BPE agissant comme un grossissement strict de la segmentation d'Unigram-LM sur 80 à 99 % des molécules.
- Cette séparation persiste à travers les types de corpus, les politiques de limites et les tailles de vocabulaire, même à huit fois l'échelle originale.
L'étude conclut que le choix de l'algorithme de sous-mots est une décision de modélisation critique plutôt qu'un défaut gratuit pour les modèles de langage chimique.