arxiv Moonshot AI (arXiv) · 797 hari lalu

MMLU-Pro memperkenalkan benchmark yang lebih robust dengan 10 opsi dan pertanyaan berfokus pada penalaran

Diterjemahkan dari English → Bahasa Indonesia

Para peneliti memperkenalkan MMLU-Pro, versi yang ditingkatkan dari benchmark Massive Multitask Language Understanding yang dirancang untuk mengatasi saturasi kinerja dan ketidakstabilan pada model bahasa besar saat ini. Dataset baru memperluas pilihan dari empat menjadi sepuluh opsi, mengintegrasikan pertanyaan penalaran tingkat perguruan tinggi yang menantang, dan menghilangkan item berisik melalui tinjauan ahli.

Akurasi turun sebesar 16% hingga 33% dibandingkan dengan MMLU, dengan model teratas GPT-4o hanya mencetak skor 72.6%.
Sensitivitas skor model terhadap variasi prompt menurun dari 4-5% di MMLU menjadi hanya 2% di MMLU-Pro di seluruh 24 gaya.
Penalaran Chain of Thought secara signifikan meningkatkan kinerja pada MMLU-Pro, memperbaiki GPT-4o sebesar 19%, sedangkan hal itu merugikan hasil pada benchmark asli.
Benchmark ini mencakup 14 domain dengan lebih dari 12.000 pertanyaan, memberikan daya diskriminatif yang lebih besar antara model seperti GPT-4o dan GPT-4-Turbo.

MMLU-Pro berfungsi sebagai metrik yang lebih andal dan sulit untuk melacak kemajuan dalam kemampuan pemahaman dan penalaran bahasa tingkat ahli.

Kepentingan 1/3 Moonshot AI (arXiv) Benchmark results Evaluation & benchmarks

Benchmark

Benchmark	Model	Skor
MMLU-Pro	GPT-4o	72.6%
MMLU-Pro	GPT-4-Turbo	63.7%

Artikel terkait

arxiv arXiv cs.AI · 3 hari lalu

SciCode-Verified memperbaiki cacat benchmark untuk mengungkap kemampuan pemrograman ilmiah sejati model

Para penulis mengidentifikasi bahwa skor yang stagnan pada benchmark SciCode berasal dari cacat signifikan dalam instrumen evaluasi, bukan dari keterbatasan kemampuan model. Audit oleh pakar domain terhadap 65 soal pengujian menemukan 263 cacat, dengan 192 di antaranya menyebabkan solusi yang benar ditolak secara keliru karena masalah seperti jawaban acuan yang tidak dapat direproduksi dan toleransi yang terlalu ketat.

media Hugging Face Forums · 7 hari lalu · 8 tayangan

Levent Bulut melakukan benchmark keandalan anotasi LLM pada proyeksi objektif

Levent Bulut menerbitkan sebuah benchmark tiga studi yang mengevaluasi keandalan anotasi yang dihasilkan mesin untuk korpus naratif Turki, mengungkapkan ketidaksesuaian signifikan antara penilai otomatis dan penilaian manusia. Studi ini menguji enam fitur kerajinan biner di 120 dan 100 adegan menggunakan detektor berbasis aturan dan model termasuk Gemini 2.5 Flash, Grok, ChatGPT 5.5, dan Claude Fable 5 High.

arxiv τ²-bench (tau2-bench) · 17 hari lalu · 1 tayangan

τ-bench 1.0.1 memperbaiki penilaian banking_knowledge untuk mencegah hukuman terhadap perilaku agen yang berhati-hati

Sierra Research merilis τ-bench 1.0.1, yang memperbaiki skema penilaian tugas `banking_knowledge` untuk menghentikan hukuman terhadap agen karena verifikasi bacaan yang bijaksana dan memperbaiki beberapa inkonsistensi data. Pembaruan ini memastikan bahwa penilai ulang lintasan papan peringkat hanya meningkatkan skor, tanpa simulasi yang sebelumnya lulus menjadi gagal.

arxiv arXiv cs.CL · 24 hari lalu · 1 tayangan

Dekomposisi varians mengungkapkan bahwa bahasa kueri mendominasi kebisingan jawaban merek LLM

Sebuah studi menguraikan non-determinisme dalam rekomendasi merek model bahasa besar (LLM) menjadi empat sumber yang dapat dipisahkan: resampling dalam-prompt, parafrasa prompt, identitas model, dan bahasa kueri. Menggunakan analisis efek acak silang pada 12.933 respons di seluruh tiga model dan delapan bahasa, penulis mengidentifikasi bahasa kueri sebagai sumber varians terbesar sebesar 26,5%, sementara identitas merek hanya menyumbang 1,5%.

arxiv arXiv cs.CL · 26 hari lalu · 8 tayangan

AdvancedMathBench memperkenalkan ProverBench dan VerifierBench untuk evaluasi bukti matematika tingkat lanjut

Para peneliti memperkenalkan AdvancedMathBench, sebuah rangkaian benchmark yang dirancang untuk mengevaluasi kemampuan penalaran matematika tingkat lanjut dari model bahasa besar, mengatasi kesenjangan dalam cakupan disiplin dan granularitas evaluasi yang ditemukan pada benchmark yang ada.