Des chercheurs présentent les Modèles de Langage Contextuels (CLM), une nouvelle architecture qui traite la fenêtre de contexte du modèle comme un fichier modifiable, permettant au modèle d'effectuer des mises à jour non restreintes de sa propre mémoire. Cette approche déplace la gestion du contexte du contrôle externe vers le comportement intrinsèque du modèle, permettant l'apprentissage en contexte et paramétrique des stratégies de gestion du contexte.

  • Les CLM zero-shot surpassent les stratégies de gestion du contexte les plus avancées, atteignant une précision supérieure de 11,4 % avec 21,5 % de FLOPs en moins sur BrowseComp-Plus et des scores supérieurs de 5 % avec 59 % de FLOPs en moins sur EdgeBench 12 heures.
  • Sur une tâche multi-dépôts d'une durée de 24 heures impliquant un essaim d'agents, les CLM montrent une amélioration de 65 % supérieure avec le même calcul par rapport aux lignes de base.
  • L'orientation des CLM à l'aide d'instructions en langage naturel, évoluant via une boucle d'optimisation des compétences, améliore la précision sur un ensemble de test non vu jusqu'à 35,9 points sur une tâche de gestion du contexte tout en réduisant le calcul.
  • Une méthode d'apprentissage par renforcement en ligne améliore les performances de Qwen3.5-9B sur BrowseComp-Plus de 47,6 % tout en utilisant 12 % de FLOPs en moins.
  • La réutilisation conjointe du cache de suffixe pour le service des CLM réduit le calcul côté serveur de 35 % par rapport à SGLang standard à performance égale.

En permettant aux modèles d'apprendre ce qu'il est le plus important de maintenir dans le contexte, les CLM s'étendent naturellement aux systèmes multi-agents où plusieurs contextes d'agents coexistent sous forme de fichiers.