وثّق دليل تعليمي جديد العملية خطوة بخطوة لبناء وتدريب مُرمّز BPE على مستوى البايت من المبادئ الأولى. يغطي الدليل تفاصيل التنفيذ الرئيسية مثل ما قبل الترميز الواعي لـ Unicode، وتحديثات تكرار الأزواج بشكل تدريجي، واستخدام كومة قصوى مع حذف كسول.

  • يبدأ التدريب من 256 رمزًا بايت خام ويتعلم عمليات الدمج على نص متعدد اللغات.
  • تم تنفيذ فهرس مقلوب من الزوج إلى ما قبل الرمز لتحسين عملية التدريب.
  • تم تدريب النموذج على 100 ميغابايت من بيانات mC4 عبر ثماني لغات.
  • ينتج عن ذلك مفردات مكونة من 8,192 رمزًا مع 7,936 دمجًا تم تعلمها.
  • استغرق التدريب حوالي ساعة واحدة على معالج M2 Pro ذو النوى الاثني عشر وذاكرة سعة 32 جيجابايت.

يوفر المؤلف الكود المصدري الكامل والشرح عبر مستودع GitHub ويتضمن عرضًا تجريبيًا مباشرًا تفاعليًا للمستخدمين للتفاعل مع المُرمّز المخصص.