एक स्वतंत्र शोधकर्ता ने पूरी तरह से शून्य से 270 मिलियन पैरामीटर वाला एक भाषा मॉडल बनाया है। परियोजना Wiki-SmartBotLM-Instruct नाम के तहत Hugging Face पर उपलब्ध है।
मॉडल दक्षता और स्थानीय अनुमान (local inference) के लिए डिज़ाइन किए गए कस्टम Transformer आर्किटेक्चर का उपयोग करता है। प्रमुख तकनीकी विशेषताओं में Rotary Positional Embeddings, RMSNorm, SwiGLU फ़ीड-फॉरवर्ड परतें, ग्रुप्ड क्वेरी अटेंशन (grouped query attention), और एक अनुकूलित ऑटोरेग्रेसिव डिकोडर शामिल हैं।
यह कार्य यह दिखाता है कि मौजूदा वजन या विशाल बुनियादी ढांचे पर निर्भर किए बिना स्वतंत्र रूप से कार्यात्मक बड़े भाषा मॉडल बनाना संभव है।