Сриджан Шривастава обучил модель с 117 миллионами параметров, используя собственную архитектуру Silia, благодаря спонсорской поддержке вычислительных ресурсов завершив обучение всего за пять часов на GPU NVIDIA H100.

  • Модель использует архитектуру Silia, включающую многоголовое внимание с ротационными позиционными эмбеддингами, нормализацию QK и проекции выходных весов с привязкой.
  • Обучение проводилось на датасете synth-100M, обработано около 82 миллионов токенов с размером батча 8 и длиной контекста 1024.
  • Автор отмечает, что модель сильно недообучена из-за ограниченного количества токенов относительно размера параметров и низкой скорости обучения, что привело к более высокому значению потерь, чем это возможно в теории.
  • Код архитектуры и скрипты инференса доступны на GitHub, а исследовательская статья и веса модели размещены на Hugging Face и Zenodo.

Выпуск предоставляет открытую реализацию варианта трансформера Silia для дальнейших экспериментов, хотя автор явно указывает, что бенчмаркинг еще не проводился.