研究者らは、パラメトリック長期記憶モデルを6.9Bパラメータまでスケールし、300Bトークンで事前学習するシステム「Memory Decoder at Scale」を発表した。このデータ規模において標準的なFaissパイプラインの実行が不可能であるため、著者らはkNN分布のスパースかつバッチごとの読み込みを用いた分散インデックスパイプラインを実装した。

  • システムはメモリモデルを6.9Bパラメータまでスケールし、事前学習に300Bトークンを使用する。
  • 分散パイプラインがFaissのインデックス作成と検索を処理し、kNN分布のスパースかつバッチごとの読み込みを利用する。
  • 6.9Bの汎用メモリとPythia-410Mを組み合わせることで、平均スコアは29.86から37.34に向上し、総パラメータ数を39%削減しながらPythia-12B (37.24) を上回った。
  • 0.6Bから14BまでのQwen3 Baseモデルにおいて、1.7Bのドメインメモリはあらゆるスケールで3つのドメイン全体の平均スコアを9ポイント以上向上させた。

これらの結果は、ベースモデルのみをスケールするのと比較して、事前学習済みメモリを独立してスケールすることが、言語モデルのパフォーマンスを改善するためのよりパラメータ効率的な経路であることを示している。