Para peneliti mengusulkan SPyCE (Skill-Policy Co-evolution), sebuah kerangka kerja yang memadatkan lintasan penalaran multimodal ke dalam perpustakaan keterampilan hierarkis yang berevolusi seiring dengan kebijakan selama pembelajaran penguatan. Pendekatan ini mengatasi keterbatasan metode yang ada dengan menghindari hadiah skalar dan pengambilan memori statis, alih-alih menciptakan loop tertutup di mana kebijakan yang lebih baik menghasilkan keterampilan yang lebih baik dan keterampilan yang berevolusi memberikan prior yang lebih kuat.
- Keterampilan eksekusi menangkap operasi visual lokal sementara keterampilan alur kerja mengkodekan prior penggunaan alat tingkat tinggi.
- Kebijakan mengkondisikan pada keterampilan yang diambil untuk memandu rollouts, sementara perpustakaan keterampilan diperbarui menggunakan rollouts berharga yang dihasilkan oleh kebijakan.
- Eksperimen di delapan benchmark menunjukkan SPyCE secara konsisten mengalahkan baseline berbasis RL dan memori.
- Analisis mengonfirmasi bahwa desain keterampilan hierarkis dan mekanisme co-evolution keduanya penting bagi keberhasilan kerangka kerja.
Para penulis menganggap optimisasi keterampilan-kebijakan gabungan ini sebagai paradigma yang menjanjikan untuk membangun agen multimodal yang mampu.