Los Modelos de Lenguaje Contextual gestionan el contexto nativamente como archivos editables

Investigadores presentan los Modelos de Lenguaje Contextual (CLMs), una nueva arquitectura que trata la ventana de contexto del modelo como un archivo editable, permitiendo al modelo realizar actualizaciones sin restricciones a su propia memoria. Este enfoque desplaza la gestión del contexto desde el control externo del sistema hacia el comportamiento intrínseco del modelo, habilitando tanto el aprendizaje in-contexto como paramétrico de estrategias de gestión de contexto.

• Los CLM en zero-shot superan las estrategias de gestión de contexto más avanzadas, logrando una precisión un 11,4 % mayor con un 21,5 % menos de FLOPs en BrowseComp-Plus y puntuaciones un 5 % más altas con un 59 % menos de FLOPs en EdgeBench de 12 horas.
• En una tarea multi-repositorio de enjambre de agentes durante 24 horas, los CLM muestran una mejora del 65 % mayor con el mismo cómputo en comparación con las líneas base.
• Dirigir los CLM con instrucciones en lenguaje natural evolucionadas mediante un bucle de optimización de habilidades mejora la precisión en datos no vistos hasta en 35,9 puntos en una tarea de gestión de contexto mientras reduce el cómputo.
• Un método de aprendizaje por refuerzo en línea mejora el rendimiento de Qwen3.5-9B en BrowseComp-Plus un 47,6 % mientras utiliza un 12 % menos de FLOPs.
• La Reutilización de Caché de Sufijo co-diseñada para el servicio de CLM reduce el cómputo del servidor un 35 % en comparación con SGLang estándar a rendimiento equivalente.

Al permitir que los modelos aprendan qué es más importante mantener en el contexto, los CLM se extienden naturalmente a sistemas multi-agente donde coexisten múltiples contextos de agentes como archivos.