يقدم الباحثون نماذج اللغة السياقية (CLMs)، وهي بنية جديدة تعالج نافذة سياق النموذج كملف قابل للتعديل، مما يتيح للنموذج إجراء تحديثات غير مقيدة على ذاكرته الخاصة. ينقل هذا النهج إدارة السياق من التحكم الخارجي إلى سلوك النموذج الجوهري، مما يمكّن من تعلم استراتيجيات إدارة السياق في السياق وفي المعلمات.
- تتفوق نماذج CLM ذات التعلم الصفر (Zero-shot) على أحدث استراتيجيات إدارة السياق، محققة دقة أعلى بنسبة 11.4% مع تقليل عمليات الضرب والإضافة (FLOPs) بنسبة 21.5% على BrowseComp-Plus، ودرجات أعلى بنسبة 5% مع تقليل FLOPs بنسبة 59% على EdgeBench لمدة 12 ساعة.
- في مهمة سرب الوكلاء متعددة المستودعات لمدة 24 ساعة، أظهرت نماذج CLM تحسناً أكبر بنسبة 65% بنفس موارد الحوسبة مقارنةً بالخطوط الأساسية.
- تحسين دقة النماذج الموجهة بتعليمات باللغة الطبيعية عبر حلقة تحسين المهارات يحسن الدقة على مهمة إدارة السياق بنقاط تصل إلى 35.9 نقطة مع تقليل موارد الحوسبة.
- تحسّن طريقة التعلم المعزز عبر الإنترنت أداء Qwen3.5-9B على BrowseComp-Plus بنسبة 47.6% مع استخدام 12% أقل من عمليات الضرب والإضافة (FLOPs).
- إعادة استخدام ذاكرة التخزين المؤقت لللاحقة (Suffix Cache Reuse) المصممة بشكل مشترك لخدمة CLM تقلل من موارد الحوسبة على جانب الخادم بنسبة 35% مقارنة بـ SGLang القياسي عند نفس مستوى الأداء.
من خلال السماح للنماذج بتعلم ما هو الأكثر أهمية للحفاظ عليه في السياق، تمتد نماذج CLM بشكل طبيعي إلى أنظمة متعددة الوكلاء حيث تتعايش سياقات عدة وكلاء كملفات.