벤치마크 · agentic
GAIA
GAIA(General AI Assistant)는 tools 사용, 웹 브라우징, 여러 출처에 걸친 추론이 필요한 현실적인 다단계 질문에 AI 어시스턴트가 답할 수 있는지를 평가합니다. 점수는 정확히 답한 질문의 비율(퍼센트)입니다.
자세히 보기
- 예시
- 전형적인 문항은 일상적으로 보이지만 답이 여러 단계에 걸쳐 숨어 있는 질문입니다. 예를 들어 "링크된 문서에서 어떤 사실을 찾은 뒤 이를 어떤 웹사이트의 데이터와 결합해 하나의 짧은 답을 도출하기"처럼, 한 번의 검색이 아니라 브라우징과 tools 사용이 필요합니다.
- 채점 방식
- 지표는 accuracy(정확도)로, 최종 답이 기대한 답과 일치하는 질문의 비율입니다. 각 질문에는 모호하지 않은 단 하나의 기준 정답이 있으므로 응답은 맞거나 틀리거나 둘 중 하나입니다.
- 검증 방식
- 답은 기준 정답과의 정확(준정확) 문자열 일치로 자동 검증되며, 테스트 세트 결과는 정답이 비공개로 유지되는 공개 leaderboard에 제출됩니다.
- 왜 중요한가
- 사람에게는 쉽지만 AI에게는 어려운 과제에서 추론, 웹 브라우징, tools를 결합하는 실용적 어시스턴트 능력을 측정하므로 자율 agent를 재는 흔한 잣대가 됩니다.
예제 풀이
문제
현재 영어판 Wikipedia를 사용하여, 밴드 Radiohead가 1993년부터 2007년까지(양 끝 포함) 발매한 정규 앨범은 몇 장입니까? 최종 답으로 정수 하나만 제시하세요.
해답
Albums in range: Pablo Honey (1993), The Bends (1995), OK Computer (1997), Kid A (2000), Amnesiac (2001), Hail to the Thief (2003), In Rainbows (2007) → 7. Final answer: 7
풀이
GAIA 문항에는 웹 탐색과 가벼운 집계로 도달하는 유일하고 명확한 정답이 있습니다 — 여기서는 특정 날짜 범위 안의 디스코그래피 항목을 세는 것입니다(컴필레이션과 라이브 앨범은 제외). 채점은 quasi-exact match로 이루어지며, 정규화된 최종 답 문자열이 참조 답 «7»과 정확히 일치해야 합니다.