Benchmark · agentic
BrowseComp
BrowseComp est le benchmark d'OpenAI pour les agents d'IA qui naviguent sur le web ; il vérifie s'ils parviennent à retrouver des faits difficiles à localiser, disséminés sur internet. Le résultat est exprimé comme le pourcentage de questions correctement répondues.
En savoir plus
- Exemple
- Un item typique pose une question dont la réponse factuelle brève — un nom, une date ou un nombre — est enfouie au fond du web et exige une recherche tenace, en plusieurs étapes, à travers de nombreuses pages.
- Notation
- La métrique est l'exactitude (accuracy) : le pourcentage de questions pour lesquelles la réponse de l'agent correspond à l'unique réponse correcte connue.
- Vérification
- Une réponse est acceptée lorsqu'elle correspond à la réponse de référence prédéfinie (correspondance exacte) ; les questions sont conçues pour que la réponse soit difficile à trouver mais facile à vérifier une fois donnée.
- Pourquoi c'est important
- Il sonde une compétence que les chatbots ordinaires n'ont pas — une recherche web profonde et tenace sur de nombreuses étapes —, ce qui en fait un test exigeant de navigation agentique, même pour des modèles puissants.
Exemple résolu
Tâche
Item BrowseComp : « Nommez un long-métrage sorti entre 2010 et 2015 qui (1) a remporté l'Oscar du meilleur film, (2) met en scène une seule opération de sauvetage clandestine, (3) a été réalisé par la personne qui en tient le rôle principal et (4) atteint son point culminant dans un aéroport de Téhéran. Donnez uniquement le titre du film. »
Solution
Les contraintes convergent vers un seul film — un lauréat de l'Oscar du meilleur film de 2010–2015 qui est un drame de sauvetage clandestin réalisé par son acteur principal et dont le point culminant se déroule dans un aéroport de Téhéran. Réponse finale : Argo (2012), réalisé par et avec Ben Affleck.
Explication
Chaque indice réduit l'ensemble des candidats — lauréats de l'Oscar du meilleur film en 2010–2015, puis les drames de sauvetage réalisés par leur acteur principal, enfin celui dont le point culminant est à l'aéroport de Téhéran — ne laissant que Argo, que Ben Affleck a à la fois réalisé et interprété. BrowseComp compare une courte réponse en texte libre à la référence par correspondance exacte ou vérifiée par modèle, donc « Argo » est compté correct.