शोधकर्ताओं ने एक संज्ञानात्मक-संरचित बहुमोडल एजेंट का प्रस्ताव दिया है जो एकत्रीकृत बहुमोडल मॉडलों में साझा संदर्भ खिड़की की सीमाओं को दूर करने के लिए दृश्य जानकारी को कथानक दृश्य स्मृति में बाह्यीकृत करता है। प्रणाली तर्क के दौरान प्रासंगिक कथानकों का चयनात्मक पुनः सक्रियण सक्षम करने के लिए एक संवेदी अभिसरण इंजन, एक संज्ञानात्मक पुनर्प्राप्ति इंजन और एक बहुमोडल कार्यकारी नियंत्रक का उपयोग करती है।
- एजेंट मजबूत सीखने के लिए सूक्ष्म-स्तर की पुनर्प्राप्ति टिप्पणियों के साथ संरचित बहु-चरण संवाद उत्पन्न करने के लिए एक एकीकृत परिदृश्य इंजन का उपयोग करता है।
- 8B पैरामीटर वाला संस्करण 20-चरण सत्रों में 91.4% पुनर्प्राप्ति सटीकता प्राप्त करता है, जो 32B आधार रेखाओं से +8.2% अधिक है।
- आधार मॉडलों की तुलना में प्रति-चरण अनुमान समय लगभग आधा होकर 23.1s से घटकर 12.7s हो गया है।
- संज्ञानात्मक-संरचित बहुमोडल एजेंट हार्नेस (CMA-Harness) स्थायी स्मृति और OpenAI-अनुकूल सेवा के साथ उपकरण-वर्धित तैनाती प्रदान करता है।
संरचित स्मृति और मॉड्युल निर्णय लेने एकल पैरामीटर स्केलिंग की तुलना में दीर्घकालिक बहुमोडल एजेंटों के लिए अधिक स्केलेबल और कुशल परादigm प्रदान करते हैं।