ある独立した研究者が、2億7000万パラメータの言語モデルを完全にゼロから作成しました。このプロジェクトは「Wiki-SmartBotLM-Instruct」という名前でHugging Faceで公開されています。

このモデルは、効率性とローカル推論のために設計されたカスタムTransformerアーキテクチャを採用しています。主な技術的特徴には、Rotary Positional Embeddings、RMSNorm、SwiGLUフィードフォワード層、グループ化クエリアテンション、最適化された自己回帰デコーダーが含まれます。

この取り組みは、既存の重みや大規模なインフラストラクチャに依存せずに、機能的な大規模言語モデルを独立して構築することが可能であることを示しています。