Peneliti independen mengembangkan model bahasa 270M parameter dari nol

Seorang peneliti independen telah membuat model bahasa dengan 270 juta parameter sepenuhnya dari awal. Proyek ini tersedia di Hugging Face dengan nama Wiki-SmartBotLM-Instruct.

Model ini menggunakan arsitektur Transformer kustom yang dirancang untuk efisiensi dan inferensi lokal. Fitur teknis utama meliputi Rotary Positional Embeddings, RMSNorm, lapisan feed-forward SwiGLU, perhatian query berkelompok, dan decoder autoregresif yang dioptimalkan.

Karya ini menunjukkan kelayakan membangun model bahasa besar yang fungsional secara independen tanpa bergantung pada bobot yang sudah ada atau infrastruktur skala besar.