Perbandingan terkontrol antara tokeniser byte-pair encoding (BPE) dan Unigram-LM pada basis kimia tetap 165-token mengungkapkan bahwa kedua algoritma menghasilkan kosakata subkata yang berbeda secara struktural. Melintasi tiga tipologi korpus dan berbagai kebijakan batas, tumpang tindih Jaccard antar-algoritma dari potongan yang dipelajari tidak pernah melebihi 0,161.

  • Unigram-LM memotong molekul yang dihold-out menjadi token sebanyak 29-41% lebih banyak daripada BPE.
  • Algoritma tersebut sebagian besar setuju pada tempat pemotongan tetapi berbeda dalam kedalaman, dengan BPE bertindak sebagai pengasaran ketat dari segmentasi Unigram-LM pada 80-99% molekul.
  • Pemisahan ini bertahan melintasi jenis korpus, kebijakan batas, dan ukuran kosakata, bahkan pada skala delapan kali lipat dari skala asli.

Studi ini menyimpulkan bahwa pilihan algoritma subkata adalah keputusan pemodelan yang kritis daripada default gratis untuk model bahasa kimia.