يقترح الباحثون وكيلًا متعدد الوسائط بهيكل معرفي يقوم بتحويل المعلومات البصرية إلى ذاكرة بصرية عرضية لمعالجة قيود نوافذ السياق المشتركة في النماذج المتعددة الوسائط الموحدة. يستخدم النظام محرك تجريد إدراكي، ومحرك استرجاع معرفي، ومتحكم تنفيذي متعدد الوسائط لتمكين إعادة تنشيط الحلقات ذات الصلة بشكل انتقائي أثناء الاستدلال.
- يستخدم الوكيل محرك سيناريو موحد لتوليد محادثات متعددة الأدوار بهيكل معannotations استرجاع دقيقة للتعزيز التعلم.
- تحقق نسخة بـ 8 مليار معلمة دقة استرجاع بنسبة 91.4٪ على مدى جلسات مكونة من 20 دورًا، متفوقةً على النماذج الأساسية ذات الـ 32 مليار معلمة بنسبة +8.2٪.
- انخفض وقت الاستدلال لكل دور تقريبًا إلى النصف من 23.1 ثانية إلى 12.7 ثانية مقارنة بالنماذج الأساسية.
- يوفر CMA-Harness (إطار عمل الوكيل متعدد الوسائط بهيكل معرفي) نشرًا معززًا بالأدوات ذاكرة دائمة وخدمة متوافقة مع OpenAI.
تقدم الذاكرة المهيكلة واتخاذ القرار المعياري نموذجًا أكثر قابلية للتوسع وكفاءة للوكلاء متعددي الوسائط طويلي المدى مقارنة بالتوسع الأحادي للمعاملات.