Benchmark · reasoning
ARC-AGI 2
ARC-AGI 2 (Abstraction & Reasoning Corpus, versi 2, diselenggarakan sebagai ARC Prize 2025) mengukur penalaran cair (fluid reasoning): menyimpulkan aturan abstrak dari beberapa contoh dan menerapkannya pada kasus baru. Skornya adalah persentase teka-teki yang terpecahkan dengan benar pada set evaluasi tersembunyi yang semi-privat.
Selengkapnya
- Contoh
- Sebuah tugas memberikan beberapa pasangan input→output berupa grid berwarna (grid kecil berisi sel-sel berwarna yang diubah dengan satu cara yang konsisten), dan penyelesai harus menemukan transformasi tersembunyi itu dan menghasilkan grid output yang benar untuk input baru.
- Penilaian
- Setiap teka-teki dinilai lulus/gagal: grid output yang dihasilkan dibandingkan dengan grid yang benar secara persis, dan skor yang dilaporkan adalah persentase teka-teki yang terpecahkan pada set evaluasi semi-privat.
- Verifikasi
- Hasil diverifikasi secara otomatis melalui kecocokan persis pada grid output — grid yang diprediksi harus cocok dengan jawaban sel demi sel — pada set uji semi-privat yang tidak dirilis ke publik untuk mencegah hafalan.
- Mengapa penting
- Ia berfokus pada teka-teki yang mudah bagi manusia tetapi sulit bagi AI, sehingga menjadi tolok ukur yang banyak diperhatikan untuk abstraksi sejati dan penalaran umum, bukan pengetahuan hafalan.
Contoh penyelesaian
Tugas
Teka-teki grid ARC-AGI-2: simpulkan transformasinya dari pasangan latihan, lalu berikan grid keluaran untuk masukan uji (angka 0–9 adalah warna; 0 = latar hitam). Latihan 1: [[4,0,0,0],[0,0,6,0],[4,0,0,0],[0,0,6,0]] → [[0,0,0,0],[0,0,0,0],[4,0,6,0],[4,0,6,0]]. Latihan 2: [[0,3,0,0],[0,0,0,8],[0,3,0,0],[0,0,0,0]] → [[0,0,0,0],[0,0,0,0],[0,3,0,0],[0,3,0,8]]. Uji: [[0,0,2,0],[5,0,0,0],[0,0,2,0],[5,0,0,0]] → ?
Solusi
[[0, 0, 0, 0],
[0, 0, 0, 0],
[5, 0, 2, 0],
[5, 0, 2, 0]]
Penjelasan
Setiap pasangan latihan menunjukkan satu aturan — 'gravitasi': tiap sel berwarna jatuh lurus ke bawah menuju sel kosong terbawah pada kolomnya, mempertahankan warna dan jumlahnya, sementara latar (0) naik ke atas. Pada uji, dua angka 5 di kolom 0 dan dua angka 2 di kolom 2 mengendap di dua baris terbawah. ARC-AGI-2 menilai dengan pencocokan grid yang persis — dimensi benar dan nilai tiap sel — dengan skor pass@2 atas dua percobaan yang diizinkan.