저자들은 WebMRE를 소개한다. 이는 성공적인 WebArena 트래젝토리에서 파생된 541개의 작업과 5,293개의 스텝으로 구성된 오프라인 벤치마크로, 환경 드리프트 없이 웹 에이전트 체크포인트를 평가하기 위한 결정론적 프로토콜을 제공하도록 설계되었다. 이 프레임워크는 인간 중심의 가이드 문장과 지상화된 액션을 짝지어 두 요소 간 상호 보강 효과를 연구한다.
- 가이드를 함께 디코딩하면 Qwen3.5-4B에 대해 요소 선택이 각각 0.9점과 0.2점 상승하며, Qwen3.5-9B에서는 각각 1.7점과 2.2점 상승한다.
- 매개 분석은 가이드가 인과적 채널로 작용함을 확인한다: 정답 가이드를 디코딩 접두사로 강제할 때 액션 정확도가 .422에서 .684로 상승한다.
- 파인튜닝된 모델들은 제로샷 오프라인 지표에서 GPT-5.5, Claude Opus 4.8, Gemini 3.5 Flash를 능가한다.
이 연구는 가이드가 단순히 레이블 문자열이 아닌 명령 의미를 전달함을 보여주며, 웹 에이전트의 학습 현상을 평가할 수 있는 재현 가능한 방법을 제시한다.