Benchmark · math
FrontierMath
FrontierMath adalah benchmark dari Epoch AI yang mengukur seberapa baik model AI menyelesaikan soal-soal matematika yang sangat sulit, orisinal, dan setingkat penelitian. Skornya adalah persentase soal yang dijawab benar oleh model, dan model masa kini hanya mampu menyelesaikan sebagian kecil — masih jauh dari titik jenuh.
Selengkapnya
- Contoh
- Satu soal yang belum pernah dipublikasikan sebelumnya dari bidang lanjutan seperti teori bilangan, geometri aljabar, atau kombinatorika, yang penyelesaiannya menuntut keahlian mendalam dan bermuara pada satu jawaban akhir yang pasti (misalnya bilangan bulat tertentu atau objek matematika yang eksak).
- Penilaian
- Metriknya adalah akurasi (accuracy): proporsi soal yang jawaban akhirnya sama persis dengan jawaban acuan, dinyatakan dalam persen.
- Verifikasi
- Setiap soal punya satu jawaban pasti yang bisa diperiksa secara otomatis, sehingga sebuah jawaban hanya diterima bila sama persis dengan acuan; soal-soalnya dirancang oleh matematikawan ahli agar hampir mustahil dijawab benar hanya dengan menebak.
- Mengapa penting
- Karena soalnya baru, benchmark ini tahan terhadap hafalan, dan sampai kini masih jauh dari terpecahkan, sehingga menjadi salah satu dari sedikit benchmark matematika yang masih dengan jelas memisahkan penalaran matematika tingkat lanjut yang sesungguhnya dari sekadar pencocokan pola.
Contoh penyelesaian
Tugas
Tentukan banyaknya bilangan bulat $n$ dengan $0 \le n < 3^{13}$ yang membuat koefisien binomial pusat $\binom{2n}{n}$ tidak habis dibagi $3$.
Solusi
Menurut teorema Kummer, $3 \nmid \binom{2n}{n}$ tepat ketika penjumlahan $n+n$ dalam basis 3 tidak menghasilkan simpanan (carry), yaitu setiap digit basis-3 dari $n$ bernilai 0 atau 1. Pada $0 \le n < 3^{13}$ ini memberi 2 pilihan untuk masing-masing dari 13 digit, sehingga banyaknya adalah $2^{13} = 8192$.
Penjelasan
Teorema Kummer memberikan $v_3\binom{2n}{n}$ sebagai banyaknya simpanan saat menjumlahkan $n$ dengan dirinya sendiri dalam basis 3; nol simpanan mengharuskan setiap digit basis-3 bernilai 0 atau 1, yakni 2 pilihan per digit untuk 13 digit. Penilaian: pemeriksa otomatis mencocokkan secara persis satu-satunya bilangan bulat akhir (8192).