يقترح الباحثون عدّ وتصفية (CNF) لبناء المفردات وترميز الحد الأدنى للتكلفة (MCE) لتجزئة النص لتحسين تقطيع الرموز في نماذج اللغة الكبيرة. يوفر هذا المزيج كفاءة أعلى للرموز، وقابلية توسع أكبر، واعتمادًا أقل مقارنة بترميز زوج البايت (BPE).
- يبني CNF مفردًا خامًا عن طريق عدّ السلاسل الفرعية الصالحة ثم يصفّيه بناءً على الاستخدام الفعلي أثناء تجزئة MCE.
- يقلّل MCE دالة التكلفة عبر مقاطع النص لتحديد التجزئة العالمية المثلى دون الاعتماد على قوائم الدمج أو احتمالات الرموز.
- مع مفرد بحجم 250K، يزيد CNF-MCE معدل الضغط بنسبة 26% و30% على نص الويب الإنجليزي مقارنةً بمقطّعات o200k_base وqwen250k.
- يؤدي توسيع المفرد إلى 1M إدخالًا إلى تحسين كفاءة الرموز بأكثر من 60% ورفع استغلال المفرد من 52.9% إلى 96.9%.
- تحقق نماذج اللغة المدربة بمقاييس 1.8B و8B أداءً مماثلًا للنماذج القائمة على BPE عبر 11 معيارًا.
تُظهر النتائج أن CNF-MCE يُحسّن كفاءة الرموز بشكل كبير مع الحفاظ على أداء تنافسي في المهام اللاحقة، وهو قابل للتطبيق على المفردات المبنية من طرق مختلفة.