Una comparación controlada de los tokenizadores byte-pair encoding (BPE) y Unigram-LM en una base fija de 165 tokens de química revela que los dos algoritmos producen vocabularios de subpalabras estructuralmente diferentes. En tres tipologías de corpus y varias políticas de límites, las piezas aprendidas muestran una superposición de Jaccard entre algoritmos que nunca excede 0.161.
- Unigram-LM segmenta moléculas no vistas en un 29-41% más de tokens que BPE.
- Los algoritmos coinciden en gran medida sobre dónde cortar, pero difieren en profundidad, con BPE actuando como una coarsening estricta de la segmentación de Unigram-LM en el 80-99% de las moléculas.
- Esta separación persiste a través de tipos de corpus, políticas de límites y tamaños de vocabulario, incluso a ocho veces la escala original.
El estudio concluye que la elección del algoritmo de subpalabra es una decisión crítica de modelado en lugar de un valor predeterminado libre para los modelos de lenguaje químicos.