Независимый исследователь создал языковую модель с 270 миллионами параметров, разработанную полностью с нуля. Проект доступен на Hugging Face под названием Wiki-SmartBotLM-Instruct.
Модель использует собственную архитектуру Transformer, спроектированную для эффективности и локального вывода. Ключевые технические особенности включают Rotary Positional Embeddings, RMSNorm, слои прямого распространения SwiGLU, группированное внимание по запросам (grouped query attention) и оптимизированный авторегрессионный декодер.
Эта работа демонстрирует возможность создания функциональных больших языковых моделей независимо, без использования готовых весов или масштабной инфраструктуры.