Sebuah studi yang mengaudit enam benchmark fisika yang banyak digunakan menemukan bahwa skor rendah yang dilaporkan untuk model bahasa terdepan sebagian besar disebabkan oleh kesalahan dalam proses benchmarking, bukan karena kekurangan model. Para ahli meninjau pernyataan masalah, solusi referensi, dan respons model, membedakan antara kesalahan asli dengan kesalahan penilai, referensi yang salah, dan pertanyaan yang ambigu.

  • Mean@4 GPT-5.6-Sol pada HLE-Physics meningkat dari 47,3% menjadi 78,7% setelah dikoreksi.
  • Skornya pada CMT-Benchmark meningkat dari 61,0% menjadi 87,2% setelah tinjauan ahli.
  • Model tersebut mencapai pass@4 yang terkoreksi sebesar 94,4% pada 54 tantangan CritPt yang dipertahankan.
  • Skor pada UGPhysics, PRISM-Physics, dan PHYBench juga meningkat secara signifikan setelah diaudit.

Temuan ini menunjukkan bahwa benchmark saat ini secara substansial meremehkan kemampuan model terdepan dalam memecahkan masalah fisika yang terdefinisi dengan baik, menyoroti perlunya evaluasi yang lebih menantang dan divalidasi oleh ahli.