Исследователи предлагают OpAgent, оператора-агента для веб-навигации, который использует онлайн обучение с подкреплением (RL) для преодоления распределительных сдвигов на реальных веб-сайтах. Система сочетает иерархическую многозадачную тонкую настройку с гибридным механизмом вознаграждения для оптимизации политики через прямое взаимодействие.
- Иерархическая многозадачная тонкая настройка формирует наборы данных примитивов планирования, действия и привязки к контексту для формирования сильных способностей следования инструкциям.
- Онлайн агентное RL использует WebJudge для оценки результатов и основанное на правилах дерево решений для вознаграждений за прогресс, чтобы смягчить проблемы присвоения кредита.
- Модульная архитектура OpAgent координирует Планировщик, Привязчик, Рефлектор и Обобщатель для обеспечения надежного восстановления после ошибок и самокоррекции.
Модель с усилением RL достигает 38,1% успеха на WebArena, в то время как полная архитектура OpAgent повышает производительность до состояния передового края (state-of-the-art) с показателем успеха 71,6%.