研究者らは、モデルのコンテキストウィンドウを編集可能なファイルとして扱う新しいアーキテクチャであるコンテキスト言語モデル（CLM）を発表した。これにより、モデルは自身のメモリに対して制限のない更新を行うことができる。このアプローチは、コンテキスト管理を外部の制御からモデルの内在的な動作へと移行させ、コンテキスト内の学習とパラメトリックな学習の両方を通じてコンテキスト管理戦略を実現可能にする。

  • ゼロショットのCLMは最先端のコンテキスト管理戦略を上回り、BrowseComp-Plusで11.4%高い精度を21.5%少ないFLOPsで達成し、12時間EdgeBenchでは5%高いスコアを59%少ないFLOPsで達成した。
  • 24時間のマルチリポジトリエージェントスイームタスクにおいて、CLMはベースラインと比較して同じ計算量で65%大きな改善を示した。
  • スキル最適化ループを通じて進化した自然言語指示によるCLMの制御は、コンテキスト管理タスクにおいて最大35.9ポイントの精度向上を実現しつつ、計算量を削減した。
  • オンライン強化学習手法により、Qwen3.5-9BのBrowseComp-Plusでのパフォーマンスが47.6%向上し、FLOPsを12%削減した。
  • CLMサービング用に共同設計されたSuffix Cache Reuseは、同等のパフォーマンスで標準的なSGLangと比較してサーバー側の計算量を35%削減した。

CLMは、コンテキスト内で維持すべき最重要事項をモデルが学習することを可能にするため、複数のエージェントのコンテキストがファイルとして共存するマルチエージェントシステムへと自然に拡張される。