ある開発者が、バイグラムサブワードを使用して、842KBの重みファイルと107,776個のパラメータを持つ超小型言語モデルを作成しました。このモデルはブラウザ内で直接実行するように設計されており、短いストーリーの生成を重視した混合コーパスでトレーニングされました。

  • モデルのサイズはわずか842KBで、107,776個のパラメータを含みます。
  • 単語を連結するのではなく、バイグラムトークンを使用して単語を個別にスペルします。
  • トレーニングデータは小さなストーリーに重みが置かれていますが、コーパスは混合されています。
  • 研究結果はZenodoで「Phasor-Face Transformers (PrismFormer)」として文書化されています。

著者は、短い物語の生成における出力品質を向上させるため、今後数日以内にモデルを洗練させることを目指しています。