Benchmark · math
FrontierMath
FrontierMath adalah benchmark dari Epoch AI yang mengukur seberapa baik model AI menyelesaikan soal-soal matematika yang sangat sulit, orisinal, dan setingkat penelitian. Skornya adalah persentase soal yang dijawab benar oleh model, dan model masa kini hanya mampu menyelesaikan sebagian kecil — masih jauh dari titik jenuh.
Selengkapnya
- Contoh
- Satu soal yang belum pernah dipublikasikan sebelumnya dari bidang lanjutan seperti teori bilangan, geometri aljabar, atau kombinatorika, yang penyelesaiannya menuntut keahlian mendalam dan bermuara pada satu jawaban akhir yang pasti (misalnya bilangan bulat tertentu atau objek matematika yang eksak).
- Penilaian
- Metriknya adalah akurasi (accuracy): proporsi soal yang jawaban akhirnya sama persis dengan jawaban acuan, dinyatakan dalam persen.
- Verifikasi
- Setiap soal punya satu jawaban pasti yang bisa diperiksa secara otomatis, sehingga sebuah jawaban hanya diterima bila sama persis dengan acuan; soal-soalnya dirancang oleh matematikawan ahli agar hampir mustahil dijawab benar hanya dengan menebak.
- Mengapa penting
- Karena soalnya baru, benchmark ini tahan terhadap hafalan, dan sampai kini masih jauh dari terpecahkan, sehingga menjadi salah satu dari sedikit benchmark matematika yang masih dengan jelas memisahkan penalaran matematika tingkat lanjut yang sesungguhnya dari sekadar pencocokan pola.
Contoh penyelesaian
Item FrontierMath adalah soal-soal matematika mandiri setingkat riset yang jawabannya berupa satu nilai eksak yang dapat diperiksa oleh pemeriksa otomatis (sering kali SymPy), dan cukup besar atau spesifik sehingga praktis mustahil ditebak. Sebuah item representatif dengan gaya itu: «Untuk setiap bilangan prima p, misalkan ord_p(2) adalah orde perkalian dari 2 modulo p — yaitu bilangan bulat positif terkecil k sehingga 2^k ≡ 1 (mod p). Hitunglah Σ ord_p(2) atas semua bilangan prima p dengan 100 < p < 200, dan berikan bilangan bulat eksaknya.» Jawaban: 2140. Penalaran: ada 21 bilangan prima seperti itu, dan untuk masing-masing ord_p(2) harus membagi p−1 (teorema kecil Fermat), jadi kita uji pembagi-pembagi p−1 secara menaik untuk mencari k terkecil dengan 2^k ≡ 1 — misalnya, modulo 127 diperoleh 2^7 = 128 ≡ 1, sehingga ord = 7, sedangkan modulo 101 bilangan 2 adalah akar primitif, sehingga ord = 100. Menjumlahkan ke-21 orde itu menghasilkan 2140, yang diperiksa oleh penilai melalui pencocokan bilangan bulat yang persis. (Soal FrontierMath yang sesungguhnya jauh lebih sulit dan sering memakan waktu berjam-jam bagi matematikawan ahli, tetapi formatnya — satu angka presisi yang dapat diperiksa mesin — persis seperti ini.)
Belum ada skor terverifikasi yang dilaporkan untuk benchmark ini.