Pesquisadores apresentam Modelos de Linguagem Contextual (CLMs), uma nova arquitetura que trata a janela de contexto do modelo como um arquivo editável, permitindo que o modelo faça atualizações irrestritas em sua própria memória. Essa abordagem transfere o gerenciamento de contexto do controle externo para o comportamento intrínseco do modelo, possibilitando tanto o aprendizado em contexto quanto o aprendizado paramétrico de estratégias de gerenciamento de contexto.

  • CLMs zero-shot superam as estratégias de gerenciamento de contexto mais avançadas, alcançando 11,4% maior precisão com 21,5% menos FLOPs no BrowseComp-Plus e pontuações 5% maiores com 59% menos FLOPs no EdgeBench de 12 horas.
  • Em uma tarefa multi-repositório de 24 horas com enxame de agentes, os CLMs mostram 65% maior melhoria com o mesmo cálculo em comparação às linhas de base.
  • A direção de CLMs com instruções em linguagem natural evoluídas por meio de um loop de otimização de habilidades melhora a precisão em dados não vistos em até 35,9 pontos em uma tarefa de gerenciamento de contexto, ao mesmo tempo que reduz o cálculo.
  • Um método de aprendizado por reforço online melhora o desempenho do Qwen3.5-9B no BrowseComp-Plus em 47,6% enquanto usa 12% menos FLOPs.
  • O Reuso de Cache de Sufixo co-projetado para o serviço de CLM reduz o cálculo do lado do servidor em 35% em relação ao SGLang padrão com desempenho equivalente.

Ao permitir que os modelos aprendam o que é mais importante manter no contexto, os CLMs se estendem naturalmente a sistemas multi-agente onde múltiplos contextos de agentes coexistem como arquivos.