Benchmark · agentic
GAIA
GAIA (General AI Assistant) menguji apakah asisten AI dapat menjawab pertanyaan dunia nyata yang berlangkah-langkah dan memerlukan penggunaan tools, penjelajahan web, serta penalaran lintas berbagai sumber. Skornya adalah persentase pertanyaan yang dijawab dengan benar.
Selengkapnya
- Contoh
- Item yang khas adalah pertanyaan yang tampak sehari-hari tetapi jawabannya tersembunyi melalui beberapa langkah — misalnya "mencari suatu fakta di dokumen tertaut, lalu menggabungkannya dengan data dari sebuah situs web untuk mendapatkan satu jawaban singkat" — yang menuntut penjelajahan dan penggunaan tools, bukan sekadar satu pencarian.
- Penilaian
- Metriknya adalah accuracy (akurasi): proporsi pertanyaan yang jawaban akhirnya cocok dengan jawaban yang diharapkan. Setiap pertanyaan punya satu jawaban acuan yang tidak ambigu, sehingga jawaban itu benar atau salah.
- Verifikasi
- Jawaban diverifikasi secara otomatis melalui pencocokan string yang persis (kuasi-persis) dengan jawaban acuan, dan hasil pada set uji dikirim ke leaderboard publik tempat jawaban benarnya dirahasiakan.
- Mengapa penting
- Ia mengukur kemampuan praktis asisten — memadukan penalaran, penjelajahan web, dan tools pada tugas yang mudah bagi manusia tetapi sulit bagi AI — sehingga menjadi tolok ukur umum untuk agent otonom.
Contoh penyelesaian
Tugas
Menggunakan Wikipedia bahasa Inggris terkini, berapa banyak album studio yang dirilis band Radiohead dari tahun 1993 hingga 2007, inklusif? Berikan satu bilangan bulat sebagai jawaban akhir.
Solusi
Albums in range: Pablo Honey (1993), The Bends (1995), OK Computer (1997), Kid A (2000), Amnesiac (2001), Hail to the Thief (2003), In Rainbows (2007) → 7. Final answer: 7
Penjelasan
Soal GAIA memiliki satu jawaban rujukan yang tidak ambigu, diperoleh melalui penelusuran web ditambah agregasi ringan — di sini, menghitung entri diskografi dalam rentang tanggal tertentu (kompilasi dan album live dikecualikan). Dinilai dengan quasi-exact match: string jawaban akhir yang dinormalisasi harus persis sama dengan rujukan «7».