शोधकर्ताओं ने संदर्भ भाषा मॉडल (CLMs) का परिचय दिया है, जो एक नई आर्किटेक्चर है जो मॉडल के संदर्भ विंडो को एक संपादन योग्य फ़ाइल के रूप में मानती है, जिससे मॉडल अपने स्मृति में बिना किसी प्रतिबंध के अद्यतन कर सकता है। यह दृष्टिकोण संदर्भ प्रबंधन को बाहरी हार्नेस नियंत्रण से आंतरिक मॉडल व्यवहार की ओर स्थानांतरित करता है, जिससे संदर्भ-प्रबंधन रणनीतियों का संदर्भ-में और पैरामीट्रिक सीखना संभव होता है।

  • शून्य-शॉट CLMs सर्वोत्तम संदर्भ प्रबंधन रणनीतियों से बेहतर प्रदर्शन करते हैं, BrowseComp-Plus पर 11.4% अधिक सटीकता और 21.5% कम FLOPs के साथ, तथा 12-घंटे EdgeBench पर 5% अधिक स्कोर और 59% कम FLOPs के साथ।
  • 24-घंटे के बहु-रेपॉजिटरी एजेंट-स्वार्म कार्य पर, CLMs ने समान कंप्यूट की तुलना में बेसलाइनों की तुलना में 65% अधिक सुधार दिखाया।
  • कौशल-अनुकूलन लूप के माध्यम से विकसित प्राकृतिक भाषा निर्देशों के साथ CLMs को स्टीयर करने से संदर्भ-प्रबंधन कार्य पर हल्ड-आउट सटीकता में 35.9 अंक तक की वृद्धि हुई, जबकि कंप्यूट कम हुआ।
  • एक ऑनलाइन रीइन्फोर्समेंट लर्निंग विधि ने BrowseComp-Plus पर Qwen3.5-9B के प्रदर्शन में 47.6% की सुधार की, जबकि 12% कम FLOPs का उपयोग किया।
  • CLM सर्विंग के लिए सह-डिज़ाइन किया गया Suffix Cache Reuse, समान प्रदर्शन पर मानक SGLang की तुलना में सर्वर-साइड कंप्यूट को 35% तक कम करता है।

मॉडलों को संदर्भ में बनाए रखने के लिए सबसे महत्वपूर्ण चीज़ सीखने की अनुमति देकर, CLMs प्राकृतिक रूप से बहु-एजेंट प्रणालियों में विस्तारित होते हैं, जहाँ कई एजेंट संदर्भ फ़ाइलों के रूप में सह-अस्तित्व में रहते हैं।