Benchmark · math
MATH-500
MATH-500 adalah subset berisi 500 soal dari kumpulan data matematika kompetisi MATH, yang menguji kemampuan model menyelesaikan soal matematika yang sulit. Skornya adalah persentase soal yang jawaban akhirnya dijawab benar oleh model.
Selengkapnya
- Contoh
- Item yang khas adalah soal matematika bergaya kompetisi — misalnya soal aljabar, geometri, atau teori bilangan yang meminta satu jawaban akhir (sebuah angka atau ekspresi bentuk tertutup) setelah beberapa langkah penalaran.
- Penilaian
- Skornya adalah proporsi dari 500 soal yang dijawab benar oleh model, yaitu accuracy = jawaban akhir yang benar / 500, dinyatakan dalam persen.
- Verifikasi
- Sebuah soal dianggap terpecahkan ketika jawaban akhir model sama persis dengan jawaban rujukan (pemeriksaan kesetaraan otomatis atas jawaban akhir, bukan langkah-langkah perantaranya).
- Mengapa penting
- Ini adalah ukuran penalaran matematis yang ringkas dan banyak dipakai serta berjalan lebih cepat daripada set MATH lengkap, sehingga menjadi pemeriksaan cepat yang umum saat membandingkan model penalaran.
Contoh penyelesaian
Tugas
Untuk nilai $k$ tertentu, persamaan kuadrat $x^2 - kx + 16 = 0$ hanya memiliki akar bilangan bulat positif. Tentukan jumlah semua nilai $k$ berbeda yang mungkin.
Solusi
Roots $r,s$: $rs=16$, $k=r+s$. Pairs $(1,16),(2,8),(4,4)\Rightarrow k\in\{17,10,8\}$. Distinct sum $=17+10+8=\boxed{35}$.
Penjelasan
Akar $r,s$ adalah bilangan bulat positif dengan $rs=16$ dan $k=r+s$; pasangan faktor $(1,16),(2,8),(4,4)$ menghasilkan $k=17,10,8$, sehingga jumlah nilai yang berbeda adalah $35$. MATH-500 menilai dengan pencocokan persis jawaban akhir \boxed{} yang dinormalisasi, jadi hanya $35$ yang dihitung.