研究者は、大規模言語モデルにおける長文脈処理を可能にしつつ、一定のメモリスケーリングと効率の向上を実現するために、連想再帰メモリトランスフォーマー（ARMT）を提案する。

  • この研究では、現実的な狭域ファインチューニングシナリオを評価するための2つのドメイン固有の長文脈データセットを導入している。
  • 継続的事前学習、合成データ生成、カリキュラム学習、および連想メモリを特定モデル層に選択的に統合することを組み合わせた包括的なトレーニングレシピが提供されている。
  • ARMTで拡張されたモデルは、元のコンテキスト制限をはるかに超える入力を処理しても、制限内ベースラインと比較してパフォーマンスが低下しない。
  • このアプローチは、分布外文脈長に対してより効果的に汎化できる。
  • モデルは、元のコンテキストウィンドウ内のベースラインパフォーマンスを維持しながら、FLOPsを30%削減する。

この手法により、LLMはより長い入力を効率的に処理でき、標準的なトランスフォーマーの二次計算量と線形メモリスケーリングの制約に対処できる。