Para peneliti memperkenalkan AdvancedMathBench, sebuah rangkaian benchmark yang dirancang untuk mengevaluasi kemampuan penalaran matematika tingkat lanjut dari model bahasa besar, mengatasi kesenjangan dalam cakupan disiplin dan granularitas evaluasi yang ditemukan pada benchmark yang ada.
Rangkaian ini mencakup ProverBench, yang berisi 296 masalah di tingkat sarjana dan kualifikasi doktoral, serta VerifierBench, yang terdiri dari 888 lintasan bukti yang dihasilkan model yang dipasangkan dengan kebenaran ahli untuk menilai kemampuan verifikasi. Para penulis mengembangkan pipeline verifikasi otomatis khusus yang dilatih pada anotasi ahli skala besar untuk memberikan putusan kebenaran dan penilaian kesalahan yang terperinci.
Eksperimen menunjukkan bahwa AdvancedMathBench tetap menantang bagi model mutakhir; model berkinerja terbaik, GPT-5.5-xhigh, hanya mencapai 75,8 dan 66,1 pada split ProverBench, sementara model verifikasi terbaik mencapai Balanced F1 hanya sebesar 65,1.