Исследователи предлагают SPyCE (Skill-Policy Co-evolution), фреймворк, который дистиллирует мультимодальные рассуждения в иерархическую библиотеку навыков, эволюционирующую вместе с политикой во время обучения с подкреплением. Этот подход устраняет ограничения существующих методов за счет отказа от скалярных наград и статического извлечения памяти, создавая вместо этого замкнутый цикл, в котором улучшенные политики дают лучшие навыки, а эволюционирующие навыки обеспечивают более сильные априорные знания.
- Навыки выполнения захватывают локальные визуальные операции, тогда как навыки рабочего процесса кодируют высокоуровневые априорные знания об использовании инструментов.
- Политика учитывает извлеченные навыки для управления развертываниями, в то время как библиотека навыков обновляется с использованием ценных развертываний, созданных политикой.
- Эксперименты на восьми бенчмарках показывают, что SPyCE стабильно превосходит базовые варианты на основе RL и памяти.
- Анализ подтверждает, что как иерархический дизайн навыков, так и механизм совместной эволюции критически важны для успеха фреймворка.
Авторы считают эту совместную оптимизацию навыков и политики перспективной парадигмой для создания способных мультимодальных агентов.