Benchmark · agentic
BrowseComp
BrowseComp es el benchmark de OpenAI para agentes de IA que navegan por la web; comprueba si son capaces de rastrear datos difíciles de encontrar dispersos por internet. El resultado se expresa como el porcentaje de preguntas respondidas correctamente.
Leer más
- Ejemplo
- Un ítem típico plantea una pregunta cuya respuesta breve y factual —un nombre, una fecha o un número— está enterrada en la web y exige una búsqueda persistente de varios pasos por muchas páginas.
- Puntuación
- La métrica es la exactitud (accuracy): el porcentaje de preguntas en las que la respuesta del agente coincide con la única respuesta correcta conocida.
- Verificación
- Una respuesta se acepta cuando coincide con la respuesta de referencia predeterminada (estilo coincidencia exacta); las preguntas se diseñan para que la respuesta sea difícil de encontrar pero fácil de verificar una vez dada.
- Por qué importa
- Pone a prueba una capacidad que los chatbots normales no tienen —investigación web profunda y persistente en muchos pasos—, por lo que sigue siendo una prueba exigente de navegación agéntica incluso para modelos potentes.
Ejemplo resuelto
Tarea
Ítem de BrowseComp: «Nombra un largometraje estrenado entre 2010 y 2015 que (1) ganara el Óscar a la mejor película, (2) dramatice una única operación encubierta de rescate, (3) fuera dirigido por la misma persona que interpreta el papel protagonista y (4) tenga su clímax en un aeropuerto de Teherán. Da solo el título de la película.»
Solución
Las restricciones convergen en una sola película: una ganadora del Óscar a la mejor película de 2010–2015 que es un drama de rescate encubierto dirigido por su protagonista y con clímax en un aeropuerto de Teherán. Respuesta final: Argo (2012), dirigida y protagonizada por Ben Affleck.
Explicación
Cada pista reduce el conjunto de candidatas —ganadoras del Óscar a la mejor película en 2010–2015, luego los dramas de rescate dirigidos por su protagonista, y por último la que culmina en el aeropuerto de Teherán—, dejando solo a Argo, que Ben Affleck dirigió y protagonizó. BrowseComp compara una respuesta breve de texto libre con la referencia mediante coincidencia exacta o verificada por modelo, así que «Argo» se marca como correcta.