Benchmark · math
AIME 2025
AIME 2025 menguji penalaran matematis tingkat lanjut sebuah model menggunakan 15 soal dari American Invitational Mathematics Examination 2025, sebuah kompetisi tingkat SMA yang sulit. Setiap jawaban berupa bilangan bulat dari 0 sampai 999, dan skor model adalah persentase soal yang dijawab dengan benar (sering dilaporkan sebagai pass@1 atau avg@k).
Selengkapnya
- Contoh
- Contoh soal yang khas adalah soal kompetisi yang menantang — misalnya teori bilangan atau kombinatorika — yang jawabannya berupa satu bilangan bulat antara 0 dan 999, seperti menentukan banyaknya pasangan terurut yang memenuhi sekumpulan syarat aljabar tertentu.
- Penilaian
- Masing-masing dari 15 soal dinilai dengan pencocokan persis pada jawaban bilangan bulatnya, dan skornya adalah fraksi (persentase) yang dijawab benar; karena jawaban bervariasi antar-percobaan, hasilnya biasanya dirata-ratakan atas banyak sampel (avg@k) atau dilaporkan sebagai pass@1.
- Verifikasi
- Verifikasi bersifat otomatis dan objektif: bilangan bulat akhir dari model dibandingkan dengan kunci jawaban resmi, tanpa nilai parsial dan tanpa penilaian manusia, sehingga sebuah solusi hanya diterima bila cocok persis secara numerik.
- Mengapa penting
- Soal-soal AIME menuntut penalaran kreatif berlangkah banyak, bukan hafalan, sehingga tolok ukur ini menjadi ukuran kemampuan matematika LLM terdepan yang banyak diperhatikan dan angka utama yang sering muncul saat model penalaran baru dirilis.
Contoh penyelesaian
Tugas
Soal representatif bergaya AIME (jawabannya bilangan bulat dari 0 sampai 999): tentukan jumlah semua bilangan bulat positif n yang membuat √(n² + 85n + 2017) menjadi bilangan bulat.
Solusi
Lengkapkan kuadrat: (2m)² − (2n+85)² = 843 = 3·281. Faktorkan selisih kuadrat: (2m−2n−85)(2m+2n+85) = 843, sehingga n = 168 atau n = 27. Jumlah = 168 + 27 = 195.
Penjelasan
Melengkapkan kuadrat mengubah syarat menjadi selisih kuadrat (2m)² − (2n+85)² = 843 = 3·281, yang faktorisasi positif satu-satunya memberi n = 168 dan n = 27, berjumlah 195. AIME dinilai berdasarkan kecocokan persis dari satu jawaban bilangan bulat (0–999), tanpa nilai parsial.