قام سريجان شريفاستافا بتدريب نموذج يحتوي على 117 مليون معامل باستخدام بنية سيلييا المخصصة، مستفيداً من رعاية الحوسبة لإكمال التدريب في خمس ساعات فقط على وحدة معالجة الرسومات NVIDIA H100.
- يستخدم النموذج بنية سيلييا، والتي تتميز بانتباه متعدد الرؤوس مع تضمينات موقع دوارة، وتطبيع QK، وإسقاطات مخرجات مرتبطة بالأوزان.
- أُجري التدريب على مجموعة البيانات synth-100M، بمعالجة حوالي 82 مليون رمز بحجم دفعة يبلغ 8 وطول سياق يبلغ 1024.
- يشير المؤلف إلى أن النموذج يعاني من نقص شديد في التدريب بسبب العدد المحدود من الرموز بالنسبة لحجم المعاملات ومعدل تعلم منخفض، مما أدى إلى فقدان أعلى مما كان يمكن تحقيقه محتملاً.
- يتوفر كود البنية وسكربتات الاستدلال على GitHub، بينما تستضيف الأوراق البحثية وأوزان النموذج على Hugging Face وZenodo.
يوفر هذا الإصدار تنفيذًا مفتوح المصدر لمتغير المحول سيلييا لمزيد من التجارب، على الرغم من أن المؤلف يوضح صراحةً أنه لم يتم إجراء تقييمات الأداء بعد.