Los investigadores proponen OpAgent, un agente operador para la navegación web que utiliza aprendizaje por refuerzo (RL) en línea para superar los cambios distribucionales en sitios web reales. El sistema combina el ajuste fino jerárquico multitarea con un mecanismo de recompensa híbrido para optimizar la política a través de la interacción directa.
- El ajuste fino jerárquico multitarea recopila conjuntos de datos de primitivas de Planificación, Actuación y Anclaje para establecer fuertes capacidades de seguimiento de instrucciones.
- El RL agénico en línea utiliza un WebJudge para la evaluación de resultados y un Árbol de Decisión basado en reglas para las recompensas de progreso, mitigando los desafíos de asignación de crédito.
- El marco modular OpAgent orquesta un Planificador, Unificador, Reflector y Resumidor para habilitar una recuperación robusta de errores y autocorrección.
El modelo mejorado con RL logra una tasa de éxito del 38,1 % en WebArena, mientras que el marco completo de OpAgent eleva el rendimiento a una tasa de éxito de vanguardia del 71,6 %.