Benchmark · agentic
GAIA
O GAIA (General AI Assistant) testa se assistentes de IA conseguem responder perguntas do mundo real e de várias etapas que exigem usar tools, navegar na web e raciocinar entre várias fontes. A pontuação é a porcentagem de perguntas respondidas corretamente.
Saiba mais
- Exemplo
- Um item típico é uma pergunta de aparência cotidiana cuja resposta está escondida em várias etapas — por exemplo, "procurar um dado em um documento vinculado e depois combiná-lo com dados de um site para chegar a uma única resposta curta" —, o que exige navegação e uso de tools em vez de uma única busca.
- Pontuação
- A métrica é a accuracy (acurácia): a proporção de perguntas cuja resposta final coincide com a resposta esperada. Cada pergunta tem uma única resposta de referência inequívoca, então a resposta está certa ou errada.
- Verificação
- As respostas são verificadas automaticamente por correspondência exata (quase exata) de strings com a resposta de referência, e os resultados do conjunto de teste são enviados a um leaderboard público onde as respostas corretas ficam privadas.
- Por que importa
- Ela mede a capacidade prática de um assistente — combinar raciocínio, navegação web e tools em tarefas fáceis para pessoas, mas difíceis para a IA —, tornando-se uma referência comum para agents autônomos.
Exemplo resolvido
Tarefa
Usando a Wikipedia em inglês atual, quantos álbuns de estúdio a banda Radiohead lançou de 1993 a 2007, inclusive? Dê um único número inteiro como resposta final.
Solução
Albums in range: Pablo Honey (1993), The Bends (1995), OK Computer (1997), Kid A (2000), Amnesiac (2001), Hail to the Thief (2003), In Rainbows (2007) → 7. Final answer: 7
Explicação
Os itens do GAIA têm uma única resposta de referência inequívoca, obtida por navegação na web mais uma agregação leve — aqui, contar as entradas da discografia dentro de um intervalo de datas (coletâneas e álbuns ao vivo são excluídos). É avaliado por quasi-exact match: a string da resposta final normalizada deve ser exatamente igual à referência «7».