قام باحث مستقل بإنشاء نموذج لغة يحتوي على 270 مليون معلمة بالكامل من الصفر. المشروع متاح على Hugging Face تحت الاسم Wiki-SmartBotLM-Instruct.
يستخدم النموذج بنية Transformer مخصصة صُممت للكفاءة والاستدلال المحلي. تشمل الميزات التقنية الرئيسية: Rotary Positional Embeddings، وRMSNorm، وطبقات SwiGLU للتغذية الأمامية، والانتباه للاستعلامات المجمعة، ومُفكك ذاتي الانحدار مُحسّن.
تُظهر هذه العمل إمكانية بناء نماذج لغة كبيرة وظيفية بشكل مستقل دون الاعتماد على أوزان مسبقة أو بنية تحتية ضخمة.