Srijan Srivastava ha entrenado un modelo de 117 millones de parámetros utilizando la arquitectura personalizada Silia, aprovechando el patrocinio de cómputo para completar el entrenamiento en solo cinco horas en una GPU NVIDIA H100.

  • El modelo utiliza la arquitectura Silia, que presenta atención multi-cabeza con incrustaciones posicionales rotatorias, normalización QK y proyecciones de salida con pesos compartidos.
  • El entrenamiento se realizó en el conjunto de datos synth-100M, procesando aproximadamente 82 millones de tokens con un tamaño de lote de 8 y una longitud de contexto de 1024.
  • El autor señala que el modelo está severamente subentrenado debido a la cantidad limitada de tokens en relación con el tamaño de los parámetros y una tasa de aprendizaje baja, lo que resulta en una pérdida mayor de la potencialmente alcanzable.
  • El código para la arquitectura y los scripts de inferencia están disponibles en GitHub, mientras que el artículo de investigación y los pesos del modelo se alojan en Hugging Face y Zenodo.

El lanzamiento proporciona una implementación de código abierto de la variante transformadora Silia para experimentación adicional, aunque el autor indica explícitamente que aún no se ha realizado benchmarking.