Benchmark · agentic
GAIA
GAIA (General AI Assistant) teste si les assistants d'IA peuvent répondre à des questions réelles et à plusieurs étapes qui nécessitent d'utiliser des tools, de naviguer sur le web et de raisonner à travers plusieurs sources. Le score est le pourcentage de questions correctement répondues.
En savoir plus
- Exemple
- Un élément typique est une question d'apparence banale dont la réponse est cachée à travers plusieurs étapes — par exemple « chercher un fait dans un document lié, puis le combiner avec des données d'un site web pour aboutir à une seule réponse courte » —, ce qui exige de la navigation et des tools plutôt qu'une seule recherche.
- Notation
- La métrique est l'accuracy (exactitude) : la proportion de questions dont la réponse finale correspond à la réponse attendue. Chaque question a une unique réponse de référence sans ambiguïté, donc la réponse est juste ou fausse.
- Vérification
- Les réponses sont vérifiées automatiquement par correspondance exacte (quasi exacte) de chaînes avec la réponse de référence, et les résultats de l'ensemble de test sont soumis à un leaderboard public où les bonnes réponses restent privées.
- Pourquoi c'est important
- Elle mesure la capacité pratique d'un assistant — combiner raisonnement, navigation web et tools sur des tâches faciles pour les humains mais difficiles pour l'IA —, ce qui en fait une référence courante pour les agents autonomes.
Exemple résolu
Tâche
En utilisant la version actuelle de Wikipedia en anglais, combien d'albums studio le groupe Radiohead a-t-il publiés de 1993 à 2007 inclus ? Donnez un seul entier comme réponse finale.
Solution
Albums in range: Pablo Honey (1993), The Bends (1995), OK Computer (1997), Kid A (2000), Amnesiac (2001), Hail to the Thief (2003), In Rainbows (2007) → 7. Final answer: 7
Explication
Les items de GAIA ont une unique réponse de référence sans ambiguïté, obtenue par navigation web plus une agrégation légère — ici, compter les entrées de la discographie dans un intervalle de dates (compilations et albums live exclus). L'évaluation se fait par quasi-exact match : la chaîne de réponse finale normalisée doit être exactement égale à la référence « 7 ».