Srijan Srivastava treinou um modelo de 117 milhões de parâmetros usando a arquitetura personalizada Silia, aproveitando o patrocínio de computação para concluir o treinamento em apenas cinco horas em uma GPU NVIDIA H100.

  • O modelo utiliza a arquitetura Silia, apresentando atenção multi-cabeça com embeddings posicionais rotatórios, normalização QK e projeções de saída com pesos atrelados.
  • O treinamento foi conduzido no dataset synth-100M, processando aproximadamente 82 milhões de tokens com um batch size de 8 e um comprimento de contexto de 1024.
  • O autor nota que o modelo está severamente subtreinado devido à contagem limitada de tokens em relação ao tamanho dos parâmetros e a uma taxa de aprendizado baixa, resultando em perda maior do que potencialmente alcançável.
  • O código para a arquitetura e scripts de inferência estão disponíveis no GitHub, enquanto o artigo de pesquisa e os pesos do modelo são hospedados no Hugging Face e Zenodo.

O lançamento fornece uma implementação open-source da variante transformadora Silia para experimentação adicional, embora o autor afirme explicitamente que o benchmarking ainda não foi realizado.