Benchmark · reasoning
ZebraLogic
ZebraLogic adalah tolok ukur (benchmark) penalaran yang terdiri dari teka-teki grid logika ("Einstein"/"zebra") yang dihasilkan secara terprogram, yang menguji kemampuan LLM dalam pemenuhan batasan (constraint satisfaction) dan deduksi; metrik utamanya adalah akurasi tingkat teka-teki, yaitu proporsi teka-teki yang diselesaikan sepenuhnya dengan benar (akurasi tingkat sel adalah metrik sekunder yang lebih rinci).
Selengkapnya
- Contoh
- Sebuah item tipikal memberikan N rumah dalam satu baris dan beberapa kategori atribut (misalnya hewan peliharaan, minuman, warna), masing-masing dengan N nilai berbeda, ditambah daftar petunjuk dalam bahasa alami; model harus menyimpulkan satu-satunya penetapan setiap nilai ke setiap rumah yang memenuhi semua petunjuk.
- Penilaian
- Dua metrik. Akurasi tingkat teka-teki (kecocokan persis) = fraksi teka-teki yang seluruh gridnya diisi model dengan benar; akurasi tingkat sel = fraksi sel rumah–atribut individual yang ditetapkan dengan benar. Teka-teki dikelompokkan berdasarkan ukuran grid / ukuran ruang pencarian untuk menunjukkan bagaimana akurasi menskala dengan kompleksitas.
- Verifikasi
- Setiap teka-teki dihasilkan dengan penyelesai batasan (constraint solver) sehingga memiliki tepat satu solusi valid; keluaran terstruktur model (seluruh grid) dibandingkan sel demi sel dengan kunci acuan. Sebuah teka-teki dihitung selesai hanya jika semua sel cocok — tidak ada nilai parsial di tingkat teka-teki.
- Mengapa penting
- Teka-teki grid logika menuntut deduksi sistematis banyak langkah yang tahan terhadap hafalan dan pencocokan pola, serta dihasilkan secara prosedural sehingga sulit bocor ke data pelatihan. ZebraLogic menyingkap "kutukan kompleksitas" — akurasi anjlok tajam saat ruang pencarian membesar — sehingga menjadi penguji bersih atas penalaran sejati dan seberapa besar penalaran saat inferensi (rantai pemikiran / lebih banyak komputasi) benar-benar membantu.
Contoh penyelesaian
Tugas
Ada 3 rumah dalam satu baris, bernomor 1 (kiri) sampai 3 (kanan). Setiap rumah punya hewan peliharaan berbeda (Kucing, Anjing, Burung) dan minuman berbeda (Teh, Air, Susu).
Petunjuk:
1. Rumah 1 memelihara Kucing.
2. Pemilik Kucing minum Teh.
3. Pemilik Anjing tinggal tepat di sebelah kiri pemilik Burung.
4. Pemilik Burung minum Susu.
5. Di rumah 2 diminum Air.
Tentukan hewan peliharaan dan minuman setiap rumah.
Solusi
- Petunjuk 1: rumah 1 = Kucing. Petunjuk 3: Anjing tepat di sebelah kiri Burung, jadi pasangan (Anjing, Burung) menempati rumah (2, 3) — rumah 1 sudah Kucing. → rumah 2 = Anjing, rumah 3 = Burung.
- Petunjuk 2: pemilik Kucing (rumah 1) minum Teh. Petunjuk 4: pemilik Burung (rumah 3) minum Susu. Petunjuk 5: rumah 2 minum Air.
- Hasil akhir: Rumah 1 = Kucing, Teh; Rumah 2 = Anjing, Air; Rumah 3 = Burung, Susu.
Penjelasan
Petunjuk-petunjuk saling berantai menuju satu penetapan yang terpaksa, sehingga solusinya unik — persis sifat yang dijamin oleh generator. Dinilai dengan kecocokan persis seluruh grid terhadap kunci acuan penyelesai: di sini keenam sel rumah–atribut benar, jadi teka-teki dihitung selesai.
Belum ada skor terverifikasi yang dilaporkan untuk benchmark ini.