Para penulis memperkenalkan WebMRE, sebuah benchmark offline yang terdiri dari 541 tugas dan 5.293 langkah yang diturunkan dari lintasan WebArena yang berhasil, dirancang untuk menyediakan protokol deterministik dalam menilai titik pemeriksaan agen web tanpa pergeseran lingkungan. Kerangka kerja ini memadukan kalimat panduan berorientasi manusia dengan tindakan yang terlandaskan untuk mempelajari efek penguatan timbal balik di antara keduanya.
- Dekoding bersama panduan meningkatkan pemilihan elemen sebesar 0,9 dan 0,2 poin untuk Qwen3.5-4B, serta sebesar 1,7 dan 2,2 poin untuk Qwen3.5-9B.
- Analisis mediasi mengonfirmasi bahwa panduan bertindak sebagai saluran kausal: memaksa panduan emas sebagai awalan dekode meningkatkan akurasi tindakan dari .422 menjadi .684.
- Model yang telah dilatih secara halus mengungguli GPT-5.5, Claude Opus 4.8, dan Gemini 3.5 Flash dalam metrik offline zero-shot.
Studi ini menunjukkan bahwa panduan membawa makna instruksi, bukan sekadar string label, sehingga menawarkan metode yang dapat direproduksi untuk mengevaluasi fenomena pelatihan pada agen web.