जनरेशनल कॉन्टेक्स्ट आर्किटेक्चर (GCA) एक LLM के संदर्भ विंडो को अनंत स्टोरेज के बजाय एक सीमित जीवनकाल मानने का प्रस्ताव देता है ताकि मल्टी-एजेंट सिस्टम में "संदर्भ क्षरण" और ध्यान पतली होने की समस्या को हल किया जा सके। कृत्रिम मृत्युशक्ति लागू करके, एजेंटों को प्रदर्शन गिरने से पहले समाप्त कर दिया जाता है, जो अपनी स्थिति को एक फ्लैट-फ़ाइल Markdown वॉल्ट के माध्यम से नई पीढ़ियों में सौंपते हैं।
- GCA उन संदर्भ क्षरणों को संबोधित करता है जो कठोर टोकन सीमाओं से बहुत पहले होते हैं, जैसे कि 200K विंडो में 50K टोकन पर महत्वपूर्ण प्रदर्शन गिरावट।
- सिस्टम एजेंट जीवनचक्र को प्रबंधित करने के लिए एक निर्धारक बैकएंड ऑर्केस्ट्रेटर (उदाहरण के लिए, Next.js) का उपयोग करता है, जो संभाव्य तर्क को स्थिति प्रबंधन से अलग करता है।
- एक "शैडो एजेंट" प्राथमिक एजेंट की निगरानी करता है और जब संदर्भ 85% क्षमता जैसे थ्रेशोल्ड तक पहुंच जाता है तो एक समाप्ति प्रॉम्प्ट इंजेक्ट करता है।
- एजेंट समाप्त होने से पहले अपनी स्थिति का एक संपीड़ित XML सारांश स्थानीय Markdown वॉल्ट में कंपाइल करते हैं।
- नई पीढ़ियाँ इस "बाहरी दिमाग" को पढ़ती हैं ताकि भारी कंप्यूट ओवरहेड के बिना ताज़ा, अफरातफरी से मुक्त कार्य स्मृति के साथ कार्यों को जारी रख सकें।
यह दृष्टिकोण अनंत संचालन स्मृति प्रदान करता है और भारी संदर्भ इनजेस्ट या संपीड़न से जुड़ी कंप्यूटेशनल लागतों और जानकारी के नुकसान से बचकर एजेंट तर्क को तीक्ष्ण रखता है।