Peneliti memperkenalkan Model Bahasa Konteks (CLM), sebuah arsitektur baru yang memperlakukan jendela konteks model sebagai file yang dapat diedit, memungkinkan model melakukan pembaruan tanpa batas pada memorinya sendiri. Pendekatan ini menggeser manajemen konteks dari kendali harness eksternal ke perilaku model intrinsik, memungkinkan pembelajaran strategi manajemen konteks baik dalam-konteks maupun parametrik.

  • CLM zero-shot mengungguli strategi manajemen konteks terkini, mencapai akurasi 11,4% lebih tinggi dengan FLOP 21,5% lebih sedikit pada BrowseComp-Plus dan skor 5% lebih tinggi dengan FLOP 59% lebih sedikit pada EdgeBench 12-jam.
  • Pada tugas agens-swarm multi-repositori 24-jam, CLM menunjukkan peningkatan 65% lebih besar dengan komputasi yang sama dibandingkan basis.
  • Pengarahan CLM dengan instruksi bahasa alami yang berevolusi melalui loop optimisasi keterampilan meningkatkan akurasi pada tugas manajemen konteks hingga 35,9 poin sambil mengurangi komputasi.
  • Metode pembelajaran penguatan daring meningkatkan kinerja Qwen3.5-9B pada BrowseComp-Plus sebesar 47,6% sambil menggunakan FLOP 12% lebih sedikit.
  • Didesain bersama Suffix Cache Reuse untuk penyajian CLM mengurangi komputasi sisi server sebesar 35% relatif terhadap SGLang standar pada kinerja yang setara.

Dengan memungkinkan model mempelajari apa yang paling penting untuk dipertahankan dalam konteks, CLM secara alami meluas ke sistem multi-agens di mana banyak konteks agens hidup berdampingan sebagai file.