AbstractPhilは、各アテンションブロックで「splat memory」を使用する3億7600万パラメータのバイトレベル言語モデルBeatrix V3をリリースしました。このモデルは256の語彙と4,096バイトのコンテキストウィンドウを持ち、2枚のRTX 5090カード上で644億バイトでトレーニングされました。

  • アーキテクチャは、損失のスパイクなしで保持されたウェブテキストに対して1バイトあたり0.9861ビットを達成します。
  • 特定のキュリキュラム段階を処理するために、各ブロックの後に取り外し可能な1370万パラメータのアダプターが含まれています。
  • モデルは強力なテキストエンコーディング能力を示し、その中間ブロックでT5のパフォーマンスに匹敵します。
  • splat memoryはsoftmax制御と比較して長距離の想起に制限を示しており、ハイブリッドアプローチの計画を促しています。

リリースにはモデルの重みと技術文書が含まれており、ハイブリッドアテンションメカニズムや忘却メモリモジュールなどのアーキテクチャ改善に関するフィードバックを歓迎しています。