벤치마크 · agentic
BrowseComp
BrowseComp는 웹을 탐색하는 AI 에이전트를 위한 OpenAI의 벤치마크로, 인터넷 곳곳에 흩어진 찾기 어려운 사실을 추적해 낼 수 있는지를 평가합니다. 결과는 정답을 맞힌 문제의 비율(퍼센트)로 보고됩니다.
자세히 보기
- 예시
- 전형적인 문항은 짧은 사실형 답(이름·날짜·숫자 등)이 웹 깊숙이 묻혀 있어, 이를 찾으려면 여러 페이지를 넘나드는 끈질긴 다단계 검색이 필요한 질문을 냅니다.
- 채점 방식
- 지표는 정확도(accuracy)로, 에이전트의 답이 유일한 정답과 일치한 문제의 비율입니다.
- 검증 방식
- 답은 미리 정해진 정답과 일치할 때 인정됩니다(정확 일치 방식). 문항은 답을 찾기는 어렵지만 주어지면 검증하기는 쉽도록 설계됩니다.
- 왜 중요한가
- 일반 챗봇에는 없는 능력——여러 단계에 걸친 끈질기고 깊이 있는 웹 리서치——을 시험하기 때문에, 강력한 모델에게도 에이전트형 브라우징의 까다로운 시험대로 남아 있습니다.
예제 풀이
문제
BrowseComp 문항: 「2010년에서 2015년 사이에 개봉한 장편 영화 중 (1) 아카데미 작품상을 수상하고, (2) 하나의 비밀 구출 작전을 극화하며, (3) 주연을 맡은 바로 그 사람이 감독하고, (4) 클라이맥스가 테헤란의 공항에서 펼쳐지는 작품을 말하시오. 영화 제목만 답하시오.」
해답
제약들이 한 편의 영화로 수렴한다 — 2010–2015년 아카데미 작품상 수상작이자 주연 본인이 감독한 비밀 구출 드라마로, 클라이맥스가 테헤란 공항에서 벌어지는 작품. 최종 답: Argo (2012), 감독 및 주연 Ben Affleck.
풀이
각 단서가 후보를 좁혀 간다 — 2010–2015년 작품상 수상작, 그다음 주연이 직접 감독한 구출 드라마, 마지막으로 테헤란 공항에서 클라이맥스를 맞는 작품 — 남는 것은 Argo뿐이며, Ben Affleck이 감독과 주연을 겸했다. BrowseComp는 짧은 자유 서술 답을 참조 답과 정확 일치 또는 모델 판정으로 대조하므로 「Argo」는 정답으로 채점된다.