Benchmark · agentic
BrowseComp
BrowseComp é o benchmark da OpenAI para agentes de IA que navegam na web, testando se conseguem rastrear fatos difíceis de encontrar espalhados pela internet. O resultado é relatado como a porcentagem de perguntas respondidas corretamente.
Saiba mais
- Exemplo
- Um item típico faz uma pergunta cuja resposta factual curta — um nome, data ou número — está escondida no fundo da web e exige uma busca persistente e de várias etapas por muitas páginas.
- Pontuação
- A métrica é a acurácia (accuracy): a porcentagem de perguntas em que a resposta do agente coincide com a única resposta correta conhecida.
- Verificação
- Uma resposta é aceita quando coincide com a resposta de referência predefinida (estilo correspondência exata); as perguntas são elaboradas para que a resposta seja difícil de encontrar, mas fácil de verificar depois de dada.
- Por que importa
- Ela testa uma habilidade que os chatbots comuns não têm — pesquisa web profunda e persistente em várias etapas —, permanecendo um teste exigente de navegação agêntica mesmo para modelos fortes.
Exemplo resolvido
Tarefa
Item do BrowseComp: «Nomeie um longa-metragem lançado entre 2010 e 2015 que (1) venceu o Oscar de melhor filme, (2) dramatiza uma única operação secreta de resgate, (3) foi dirigido pela mesma pessoa que interpreta o papel principal e (4) tem seu clímax em um aeroporto de Teerã. Dê apenas o título do filme.»
Solução
As restrições convergem em um único filme — um vencedor do Oscar de melhor filme de 2010–2015 que é um drama de resgate secreto dirigido pelo próprio protagonista e com clímax em um aeroporto de Teerã. Resposta final: Argo (2012), dirigido e estrelado por Ben Affleck.
Explicação
Cada pista reduz o conjunto de candidatos — vencedores do Oscar de melhor filme em 2010–2015, depois os dramas de resgate dirigidos pelo protagonista e, por fim, o que culmina no aeroporto de Teerã — restando apenas Argo, que Ben Affleck dirigiu e estrelou. O BrowseComp compara uma resposta curta em texto livre com a referência por correspondência exata ou verificada por modelo, então «Argo» é marcado como correto.