Peneliti mengusulkan Agen Multimodal Berstruktur Kognitif yang mengeksternalisasi informasi visual ke dalam Memori Visual Episodik untuk mengatasi keterbatasan jendela konteks bersama dalam model multimodal terpadu. Sistem ini memanfaatkan Mesin Abstraksi Perseptual, Mesin Retrieval Kognitif, dan Pengendali Eksekutif Multimodal untuk memungkinkan reaktivasi selektif episode yang relevan selama penalaran.
- Agen menggunakan Mesin Skenario Terpadu untuk menghasilkan percakapan multi-giliran terstruktur dengan anotasi retrieval halus untuk pembelajaran penguatan.
- Versi 8B parameter mencapai akurasi retrieval 91,4% selama sesi 20 giliran, melampaui baseline 32B sebesar +8,2%.
- Waktu inferensi per giliran hampir berkurang setengah dari 23,1 detik menjadi 12,7 detik dibandingkan dengan model baseline.
- CMA-Harness (Cognitive-structured Multimodal Agent Harness) menyediakan penyiapan yang diperkaya alat dengan memori persisten dan penyajian yang kompatibel dengan OpenAI.
Memori terstruktur dan pengambilan keputusan modular menawarkan paradigma yang lebih skalabel dan efisien untuk agen multimodal jangka panjang dibandingkan dengan penskalaan parameter monolitik.