रसायन की एक निश्चित 165-टोकन आधार पर byte-pair encoding (BPE) और Unigram-LM टोकेनाइज़र का नियंत्रित तुलना यह प्रकट करती है कि दो एल्गोरिदम संरचनात्मक रूप से अलग उप-शब्द शब्दावली उत्पन्न करते हैं। तीन कॉर्पस प्रकारों और विभिन्न सीमा नीतियों के पार, सीखे गए टुकड़े एक क्रॉस-एल्गोरिदम जैकार्ड ओवरलैप दिखाते हैं जो कभी भी 0.161 से अधिक नहीं होता।
- Unigram-LM BPE की तुलना में 29-41% अधिक टोकन में बाहर रखी गई अणुओं को विभाजित करता है।
- एल्गोरिदम कटाने के स्थान पर मुख्य रूप से सहमत हैं लेकिन गहराई में भिन्न हैं, जहाँ BPE 80-99% अणुओं पर Unigram-LM के विभाजन का एक सख्त मोटाकरण के रूप में कार्य करता है।
- यह अलगाव कॉर्पस प्रकारों, सीमा नीतियों और शब्दावली आकारों के पार बना रहता है, यहां तक कि मूल पैमाने के आठ गुना पर भी।
अध्ययन से निष्कर्ष निकलता है कि उप-शब्द एल्गोरिदम का चयन एक महत्वपूर्ण मॉडलिंग निर्णय है, न कि रसायन भाषा मॉडलों के लिए एक मुक्त डिफ़ॉल्ट।