Benchmark · math
GSM8K
GSM8K (Grade School Math 8K) adalah benchmark soal cerita matematika tingkat sekolah dasar yang masing-masing butuh beberapa langkah penalaran aritmetika untuk diselesaikan; model dinilai dari persentase soal yang jawaban angka akhirnya benar.
Selengkapnya
- Contoh
- Soal cerita singkat seperti «Natalia menjual jepit ke 48 teman pada April dan setengahnya pada Mei; berapa total jepit yang ia jual?» — model harus menelusuri langkah-langkahnya dan memberikan angka akhir.
- Penilaian
- Skornya adalah accuracy (akurasi): proporsi soal yang jawaban angka akhirnya persis sama dengan jawaban acuan; penalaran di tengah tidak dinilai, hanya angka akhir.
- Verifikasi
- Verifikasinya otomatis dan berbasis kecocokan persis: angka akhir model diambil (biasanya setelah pemisah seperti «####») lalu dibandingkan dengan jawaban benar, sehingga tidak perlu penilaian manusia.
- Mengapa penting
- Ia menjadi tes standar yang mudah diperiksa untuk penalaran banyak langkah, dan teknik prompting chain-of-thought yang terkenal terbukti sangat meningkatkan hasilnya, menjadikannya tolok ukur umum kemampuan menalar.
Contoh penyelesaian
Tugas
Maria memiliki 3 kotak krayon dengan 24 krayon di setiap kotak. Ia memberi 15 krayon kepada adiknya, lalu membeli 2 kotak penuh lagi. Berapa banyak krayon yang ia miliki sekarang?
Solusi
3 × 24 = 72; 72 − 15 = 57; 2 × 24 = 48; 57 + 48 = 105 → 105
Penjelasan
Kalikan untuk mendapatkan jumlah awal, kurangi yang diberikan, lalu tambahkan kotak yang baru dibeli: 72 − 15 + 48 = 105. GSM8K hanya menilai angka akhir yang diekstrak setelah pembatas '####' dengan pencocokan persis, jadi langkah-langkah penalarannya tidak dinilai — hanya 105 yang dihitung.