Benchmark · reasoning
ARC-AGI 1
ARC-AGI 1 mengukur penalaran abstrak dan generalisasi: setiap tugas menampilkan beberapa contoh grid input→output, dan penyelesai harus menyimpulkan aturan transformasi tersembunyi lalu menghasilkan grid keluaran yang benar untuk input baru. Metriknya adalah persentase tugas yang diselesaikan dengan grid keluaran yang cocok persis.
Selengkapnya
- Contoh
- Sebuah tugas bisa menampilkan dua atau tiga grid berwarna kecil di mana setiap input berubah menjadi outputnya lewat satu aturan yang sama — misalnya mengisi setiap wilayah tertutup atau mencerminkan sebuah bentuk — dan kamu harus menerapkan aturan simpulan itu pada grid baru yang belum pernah dilihat.
- Penilaian
- Sebuah tugas dihitung selesai hanya jika grid yang dihasilkan cocok sel demi sel dengan jawaban acuan; skor akhirnya adalah fraksi (persentase) tugas yang terselesaikan di seluruh set evaluasi.
- Verifikasi
- Pemeriksaan berlangsung otomatis dan persis: grid keluaran yang dikirim dibandingkan sel demi sel dengan grid yang benar, tanpa nilai sebagian dan tanpa pemungutan suara manusia.
- Mengapa penting
- Teka-tekinya dirancang agar mudah bagi manusia tetapi sulit bagi model yang mengandalkan pola hafalan, sehingga benchmark ini menguji abstraksi sejati dan generalisasi dari sedikit contoh, bukan sekadar pengetahuan yang dihafal — menjadikannya ukuran kemajuan menuju AI yang lebih umum yang banyak diperhatikan.
Contoh penyelesaian
Tugas
ARC-AGI 1 menampilkan beberapa demonstrasi kisi masukan→keluaran, lalu sebuah masukan uji tersembunyi; Anda menyimpulkan transformasinya dan menggambar kisi keluaran yang persis (sel berupa warna 0-9, 0=hitam). Di sini demo mengungkap aturan swa-fraktal: setiap kisi 3×3 mengembang menjadi 9×9, mencap salinan seluruh kisi di tempat sel berwarna dan blok 3×3 kosong di tempat bernilai 0. Masukan uji (3×3):
0 8 0 / 8 8 8 / 0 8 0 (tanda plus berwarna 8).Solusi
0 0 0 0 8 0 0 0 0
0 0 0 8 8 8 0 0 0
0 0 0 0 8 0 0 0 0
0 8 0 0 8 0 0 8 0
8 8 8 8 8 8 8 8 8
0 8 0 0 8 0 0 8 0
0 0 0 0 8 0 0 0 0
0 0 0 8 8 8 0 0 0
0 0 0 0 8 0 0 0 0
Penjelasan
Sel berwarna 8 berada di titik tengah keempat sisi dan di pusat tanda plus; mencap tanda plus tepat pada kelima blok 3×3 itu (dan membiarkan keempat sudut kosong) membangun fraktal 9×9. ARC-AGI hanya memberi nilai untuk kecocokan persis sel-per-sel — satu sel salah saja menggagalkan tugas, dengan maksimal 2 percobaan.