Pesquisador independente desenvolve modelo de linguagem com 270M de parâmetros do zero

Um pesquisador independente criou um modelo de linguagem com 270 milhões de parâmetros inteiramente do zero. O projeto está disponível no Hugging Face sob o nome Wiki-SmartBotLM-Instruct.

O modelo utiliza uma arquitetura Transformer personalizada projetada para eficiência e inferência local. As principais características técnicas incluem Rotary Positional Embeddings, RMSNorm, camadas feed-forward SwiGLU, atenção de consulta agrupada (grouped query attention) e um decodificador autoregressivo otimizado.

Este trabalho demonstra a viabilidade de construir modelos de linguagem grandes funcionais de forma independente, sem depender de pesos preexistentes ou infraestrutura massiva.