一位独立研究人员完全从零开始创建了一个拥有2.7亿参数的语言模型。该项目在 Hugging Face 上以 Wiki-SmartBotLM-Instruct 的名称提供。

该模型采用专为效率和本地推理设计的自定义 Transformer 架构。关键技术特性包括 Rotary Positional Embeddings、RMSNorm、SwiGLU 前馈层、分组查询注意力（grouped query attention）以及优化的自回归解码器。

这项工作证明了独立构建功能性的大型语言模型的可行性，无需依赖现有权重或大规模基础设施。