يقترح الباحثون وكيلًا متعدد الوسائط بهيكل معرفي يقوم بإخراج المعلومات المرئية إلى ذاكرة بصرية عرضية لمعالجة قيود نوافذ السياق المشتركة في النماذج المتعددة الوسائط الموحدة. يستخدم النظام محرك تجريد إدراكي، ومحرك استرجاع معرفي، ومتحكم تنفيذي متعدد الوسائط لتمكين إعادة تنشيط الحلقات ذات الصلة بشكل انتقائي أثناء الاستدلال.
- يستخدم الوكيل محرك سيناريو موحد لتوليد محادثات متعددة الأدوار وهيكلية معannotations استرجاع دقيقة للتعزيز.
- تحقق نسخة بـ 8 مليارات معامل دقة استرجاع بنسبة 91.4% على مدى جلسات مكونة من 20 دورًا، متفوقةً على الأساسيات ذات الـ 32 مليار معامل بنسبة +8.2%.
- انخفض وقت الاستدلال لكل دور تقريبًا إلى النصف من 23.1 ثانية إلى 12.7 ثانية مقارنة بالنماذج الأساسية.
- يوفر CMA-Harness (إطار عمل الوكيل متعدد الوسائط بهيكل معرفي) نشرًا معززًا بالأدوات ذاكرة دائمة وخدمة متوافقة مع OpenAI.
تقدم الذاكرة المهيكلة واتخاذ القرار المعياري نموذجًا أكثر قابلية للتوسع وكفاءة للوكلاء متعددي الوسائط طويلي المدى مقارنة بالتوسع الأحادي للمعاملات.