Benchmark · math
AIME 2024
AIME 2024 mengukur penalaran matematis tingkat lanjut sebuah model menggunakan 15 soal dari American Invitational Mathematics Examination 2024 dan melaporkan persentase yang terjawab benar.
Selengkapnya
- Contoh
- Item yang khas adalah soal olimpiade tingkat sekolah yang sulit — misalnya soal teori bilangan atau kombinatorika — yang jawabannya berupa satu bilangan bulat (jawaban AIME selalu bilangan bulat, biasanya dari 0 hingga 999).
- Penilaian
- Metriknya adalah akurasi: proporsi dari 15 soal yang dijawab benar, sehingga setiap soal yang terpecahkan bernilai 1/15 dari skor.
- Verifikasi
- Hasil diterima berdasarkan kecocokan persis: jawaban bilangan bulat akhir model harus sama dengan jawaban resmi, diperiksa secara otomatis, tanpa nilai parsial dan tanpa penilaian manusia.
- Mengapa penting
- Karena merupakan kumpulan ringkas soal kompetisi yang sulit dan baru serta menuntut penalaran banyak langkah, benchmark ini banyak dipakai untuk membandingkan model-model terdepan, dan kebaruannya mengurangi kontaminasi data pelatihan.
Contoh penyelesaian
Tugas
Berapa banyak bilangan bulat positif n ≤ 600 yang habis dibagi 4 atau 6 tetapi tidak habis dibagi 5? (Jawaban AIME berupa bilangan bulat dari 0 sampai 999.)
Solusi
Multiples of 4 or 6 that are ≤ 600: 150 + 100 − 50 = 200. Of these, the ones also divisible by 5 (multiples of 20 or 30, minus 60): 30 + 20 − 10 = 40. Answer: 200 − 40 = 160.
Penjelasan
Dengan prinsip inklusi-eksklusi, 200 bilangan habis dibagi 4 atau 6, dan 40 di antaranya juga habis dibagi 5, sehingga tersisa 160. AIME hanya menilai otomatis bilangan bulat akhir (0–999), tanpa nilai parsial untuk pengerjaan.