연구자들은 컨텍스트 언어 모델(CLMs)을 소개했는데, 이는 모델의 컨텍스트 창을 편집 가능한 파일로 취급하여 모델이 자신의 메모리에 제한 없이 업데이트할 수 있도록 하는 새로운 아키텍처입니다. 이 접근 방식은 컨텍스트 관리를 외부 하네시 제어에서 모델의 내재적 행동으로 전환하여, 컨텍스트 내 학습과 매개변수 학습 모두를 통해 컨텍스트 관리 전략을 가능하게 합니다.

  • 제로샷 CLMs는 최신 컨텍스트 관리 전략보다 우수하며, BrowseComp-Plus에서 정확도가 11.4% 향상되고 FLOPs가 21.5% 감소했으며, 12시간 EdgeBench에서는 점수가 5% 향상되고 FLOPs가 59% 감소했습니다.
  • 24시간 다중 저장소 에이전트 군집 작업에서 CLMs는 동일한 컴퓨팅 자원을 사용할 때 기준선보다 65% 더 큰 개선을 보였습니다.
  • 스킬 최적화 루프를 통해 진화된 자연어 지시로 CLMs를 제어하면 컨텍스트 관리 작업에서 홀드아웃 정확도를 최대 35.9 포인트 향상시키면서 컴퓨팅을 줄였습니다.
  • 온라인 강화 학습 방법은 BrowseComp-Plus에서 Qwen3.5-9B 성능을 47.6% 향상시키면서 FLOPs를 12% 줄였습니다.
  • CLM 서빙을 위해 공동 설계된 Suffix Cache Reuse는 동일한 성능 수준에서 표준 SGLang 대비 서버 측 컴퓨팅을 35% 감소시켰습니다.

모델이 컨텍스트에 유지해야 할 가장 중요한 것을 학습할 수 있도록 함으로써, CLMs는 여러 에이전트 컨텍스트가 파일로 공존하는 다중 에이전트 시스템으로 자연스럽게 확장됩니다.