Srijan Srivastava a entraîné un modèle de 117 millions de paramètres en utilisant l'architecture personnalisée Silia, tirant parti du sponsoring de calcul pour terminer l'entraînement en seulement cinq heures sur un GPU NVIDIA H100.

  • Le modèle utilise l'architecture Silia, caractérisée par une attention multi-têtes avec des embeddings positionnels rotatifs, une normalisation QK et des projections de sortie liées par poids.
  • L'entraînement a été effectué sur le jeu de données synth-100M, traitant environ 82 millions de tokens avec une taille de lot de 8 et une longueur de contexte de 1024.
  • L'auteur note que le modèle est sévèrement sous-entraîné en raison du nombre limité de tokens par rapport à la taille des paramètres et d'un taux d'apprentissage faible, ce qui entraîne une perte plus élevée que potentiellement réalisable.
  • Le code pour l'architecture et les scripts d'inférence sont disponibles sur GitHub, tandis que l'article de recherche et les poids du modèle sont hébergés sur Hugging Face et Zenodo.

La publication fournit une implémentation open-source de la variante Silia transformer pour davantage d'expérimentation, bien que l'auteur précise explicitement que le benchmarking n'a pas encore été effectué.