Benchmark · agentic
BrowseComp
BrowseComp adalah benchmark buatan OpenAI untuk agen AI penjelajah web, yang menguji apakah mereka mampu melacak fakta yang sulit ditemukan dan tersebar di internet. Hasilnya dilaporkan sebagai persentase pertanyaan yang dijawab dengan benar.
Selengkapnya
- Contoh
- Sebuah soal khas mengajukan pertanyaan yang jawaban faktual singkatnya — sebuah nama, tanggal, atau angka — terkubur jauh di web dan menuntut pencarian gigih bertahap melintasi banyak halaman.
- Penilaian
- Metriknya adalah akurasi (accuracy): persentase pertanyaan yang jawaban agennya cocok dengan satu-satunya jawaban benar yang diketahui.
- Verifikasi
- Sebuah jawaban diterima bila cocok dengan jawaban acuan yang sudah ditetapkan (gaya kecocokan persis); pertanyaan dirancang agar jawabannya sulit ditemukan tetapi mudah diverifikasi setelah diberikan.
- Mengapa penting
- Ia menguji kemampuan yang tidak dimiliki chatbot biasa — riset web yang mendalam dan gigih dalam banyak langkah — sehingga tetap menjadi ujian berat bagi penjelajahan agentik bahkan untuk model yang kuat.
Contoh penyelesaian
Tugas
Butir BrowseComp: «Sebutkan sebuah film layar lebar yang dirilis antara 2010 dan 2015 yang (1) memenangkan Academy Award untuk Film Terbaik, (2) mendramatisasi satu operasi penyelamatan rahasia, (3) disutradarai oleh orang yang sama yang memerankan tokoh utama, dan (4) mencapai klimaksnya di sebuah bandara di Teheran. Berikan judul filmnya saja.»
Solusi
Semua kendala bertemu pada satu film — pemenang Academy Award Film Terbaik periode 2010–2015 yang merupakan drama penyelamatan rahasia yang disutradarai oleh pemeran utamanya sendiri dan klimaksnya di bandara Teheran. Jawaban akhir: Argo (2012), disutradarai dan dibintangi oleh Ben Affleck.
Penjelasan
Setiap petunjuk mempersempit kandidat — pemenang Film Terbaik pada 2010–2015, lalu drama penyelamatan yang disutradarai pemeran utamanya, dan terakhir yang klimaksnya di bandara Teheran — menyisakan hanya Argo, yang disutradarai sekaligus dibintangi Ben Affleck. BrowseComp membandingkan jawaban teks bebas yang singkat dengan referensi melalui pencocokan persis atau yang diperiksa model, sehingga «Argo» dinilai benar.