Авторы представляют WebMRE, офлайн-бенчмарк из 541 задачи и 5 293 шагов, полученных из успешных траекторий WebArena, предназначенный для обеспечения детерминированного протокола оценки контрольных точек веб-агентов без дрейфа среды. Эта система сопоставляет ориентированные на человека руководящие предложения с заземлёнными действиями для изучения эффекта взаимного усиления между ними.

  • Совместное декодирование руководства повышает выбор элементов на 0,9 и 0,2 балла для Qwen3.5-4B, а также на 1,7 и 2,2 балла для Qwen3.5-9B.
  • Анализ опосредования подтверждает, что руководство действует как причинный канал: принудительное использование золотого руководства в качестве префикса декодирования повышает точность действий с .422 до .684.
  • Дообученные модели превосходят GPT-5.5, Claude Opus 4.8 и Gemini 3.5 Flash по метрикам нулевого обучения офлайн.

Исследование демонстрирует, что руководства несут смысл инструкций, а не просто являются строками меток, предлагая воспроизводимый метод оценки явлений обучения веб-агентов.