يكشف المقارنة الخاضعة للتحكم بين مشفرات byte-pair encoding (BPE) و Unigram-LM على قاعدة كيميائية ثابتة مكونة من 165 رمزاً، أن الخوارزميتين تنتجان مفردات فرعية للكلمات مختلفة هيكلياً. عبر ثلاثة أنواع من المجموعات اللغوية وسياسات الحدود المختلفة، لم يتجاوز تداخل جاكارد بين الخوارزميات للقطع المتعلمة القيمة 0.161.
- يقسم Unigram-LM الجزيئات المعزولة إلى رموز أكثر بنسبة 29-41% مقارنة بـ BPE.
- تتفق الخوارزميات بشكل كبير على مكان القطع لكنها تختلف في العمق، حيث تعمل BPE كتخشين صارم لتجزئة Unigram-LM على 80-99% من الجزيئات.
- يستمر هذا الفصل عبر أنواع المجموعات اللغوية وسياسات الحدود وأحجام المفردات، حتى عند المقياس المضاعف ثمانية أضعاف.
تخلص الدراسة إلى أن اختيار خوارزمية الكلمات الفرعية هو قرار نمذجة حرج وليس خياراً افتراضياً حرًا لنماذج اللغة الكيميائية.