Un investigador independiente ha creado un modelo de lenguaje de 270 millones de parámetros completamente desde cero. El proyecto está disponible en Hugging Face bajo el nombre Wiki-SmartBotLM-Instruct.
El modelo utiliza una arquitectura Transformer personalizada diseñada para la eficiencia y la inferencia local. Las características técnicas clave incluyen Rotary Positional Embeddings, RMSNorm, capas feed-forward SwiGLU, atención de consulta agrupada (grouped query attention) y un decodificador autoregresivo optimizado.
Este trabajo demuestra la viabilidad de construir modelos de lenguaje grandes funcionales de forma independiente sin depender de pesos preexistentes ni infraestructura masiva.