Un chercheur indépendant développe un modèle de langage de 270M paramètres à partir de zéro

Un chercheur indépendant a créé un modèle de langage de 270 millions de paramètres entièrement à partir de zéro. Le projet est disponible sur Hugging Face sous le nom Wiki-SmartBotLM-Instruct.

Le modèle utilise une architecture Transformer personnalisée conçue pour l'efficacité et l'inférence locale. Les caractéristiques techniques clés incluent les embeddings positionnels rotatifs (Rotary Positional Embeddings), RMSNorm, des couches feed-forward SwiGLU, l'attention à requêtes groupées, et un décodeur autoregressif optimisé.

Ce travail démontre la faisabilité de construire des grands modèles de langage fonctionnels de manière indépendante, sans dépendre de poids pré-existants ou d'une infrastructure massive.