Srijan Srivastavaは、カスタムのSiliaアーキテクチャを使用して1億1700万パラメータのモデルを訓練し、計算資源のスポンサーシップを活用してNVIDIA H100 GPU上でわずか5時間以内に訓練を完了しました。

  • このモデルはSiliaアーキテクチャを採用しており、ロータリ位置埋め込み付きのマルチヘッドアテンション、QK正規化、重み共有の出力射影を特徴としています。
  • 訓練はsynth-100Mデータセット上で行われ、バッチサイズ8、コンテキスト長1024で約8200万トークンを処理しました。
  • 著者は、パラメータ数に対するトークン数の不足と低い学習率のため、モデルが著しく過少訓練されていると指摘しており、その結果、潜在的に達成可能だったものよりも高い損失となっています。
  • アーキテクチャのコードと推論スクリプトはGitHubで公開されており、研究論文とモデルの重みはHugging FaceとZenodoでホストされています。

このリリースは、さらなる実験のためのSiliaトランスフォーマーバリアントのオープンソース実装を提供しますが、著者はベンチマークがまだ行われていないことを明確に述べています。