著者らは、WebMREを紹介する。これは541のタスクと5,293のステップからなるオフラインベンチマークで、成功したWebArenaの軌道から派生しており、環境ドリフトなしでウェブエージェントのチェックポイントをスコアリングするための決定論的なプロトコルを提供することを目的としている。このフレームワークは、人間向けのガイド文と接地された行動をペアにして、それらの間の相互強化効果を研究する。

  • ガイドを同時にデコードすることで、Qwen3.5-4Bにおいて要素選択が0.9ポイントおよび0.2ポイント向上し、Qwen3.5-9Bでは1.7ポイントおよび2.2ポイント向上した。
  • 媒介分析により、ガイドが因果的なチャネルとして機能することが確認された：ゴールドガイドをデコーディングのプレフィックスとして強制することで、行動の精度は0.422から0.684に向上した。
  • ファインチューニングされたモデルは、ゼロショットオフライン指標においてGPT-5.5、Claude Opus 4.8、Gemini 3.5 Flashを上回った。

本研究は、ガイドが単なるラベル文字列ではなく指示の意味を運び、ウェブエージェントにおけるトレーニング現象を評価するための再現可能な手法を提供することを示している。