Исследователи представляют Контекстные языковые модели (CLM), новую архитектуру, которая рассматривает окно контекста модели как редактируемый файл, позволяя модели вносить неограниченные обновления в собственную память. Этот подход переносит управление контекстом из-под контроля внешних средств управления во внутреннее поведение модели, обеспечивая как обучение контекстно-зависимое, так и параметрическое обучение стратегий управления контекстом.

  • CLM без демонстраций превосходят передовые стратегии управления контекстом, достигая точности на 11,4% выше при использовании на 21,5% меньше FLOPs на BrowseComp-Plus и показателя на 5% выше при использовании на 59% меньше FLOPs на 12-hour EdgeBench.
  • В задаче агента-рой с несколькими репозиториями длительностью 24 часа CLM демонстрируют улучшение на 65% больше при том же объеме вычислений по сравнению с базовыми уровнями.
  • Управление CLM с помощью инструкций на естественном языке, эволюционировавших в цикле оптимизации навыков, повышает точность на отложенных данных до 35,9 пунктов в задаче управления контекстом при одновременном снижении объема вычислений.
  • Метод онлайн-обучения с подкреплением улучшает производительность Qwen3.5-9B на BrowseComp-Plus на 47,6% при использовании на 12% меньше FLOPs.
  • Совместно разработанное повторное использование кэша суффиксов для обслуживания CLM снижает серверные вычисления на 35% по сравнению со стандартным SGLang при сопоставимой производительности.

Позволяя моделям обучаться тому, что наиболее важно сохранять в контексте, CLM естественно расширяются до систем с несколькими агентами, где контексты нескольких агентов сосуществуют как файлы.