arxiv arXiv cs.AI · 2 jam lalu · research

SciCode-Verified memperbaiki cacat benchmark untuk mengungkap kemampuan pemrograman ilmiah sejati model

Diterjemahkan dari English → Bahasa Indonesia

Para penulis mengidentifikasi bahwa skor yang stagnan pada benchmark SciCode berasal dari cacat signifikan dalam instrumen evaluasi, bukan dari keterbatasan kemampuan model. Audit oleh pakar domain terhadap 65 soal pengujian menemukan 263 cacat, dengan 192 di antaranya menyebabkan solusi yang benar ditolak secara keliru karena masalah seperti jawaban acuan yang tidak dapat direproduksi dan toleransi yang terlalu ketat.

Tim memperbaiki setiap cacat yang dapat dikonfirmasi untuk membuat SciCode-Verified, menambahkan spesifikasi yang diperlukan dan memperbaiki logika penilaian.
Penilaian ulang terhadap dua belas snapshot model terdepan pada benchmark yang telah diperbaiki menunjukkan akurasi subsoal meningkat dari 45–60% menjadi 84–98%.
Akurasi soal utama meningkat secara signifikan dari 9–27% menjadi 69–92%, menunjukkan bahwa model mutakhir jauh lebih mahir daripada yang sebelumnya disimpulkan.

Para penulis merilis SciCode-Verified beserta jejak audit lengkapnya sebagai standar publik yang telah diperbaiki, menegaskan bahwa hambatan sebelumnya adalah kualitas instrumen evaluasi.

Kepentingan 2/3 Kerangka evaluasi baru dengan pembeda arXiv cs.AI Benchmark results Evaluation & benchmarks

Artikel terkait

media Hugging Face Forums · 4 hari lalu · 8 tayangan

Levent Bulut melakukan benchmark keandalan anotasi LLM pada proyeksi objektif

Levent Bulut menerbitkan sebuah benchmark tiga studi yang mengevaluasi keandalan anotasi yang dihasilkan mesin untuk korpus naratif Turki, mengungkapkan ketidaksesuaian signifikan antara penilai otomatis dan penilaian manusia. Studi ini menguji enam fitur kerajinan biner di 120 dan 100 adegan menggunakan detektor berbasis aturan dan model termasuk Gemini 2.5 Flash, Grok, ChatGPT 5.5, dan Claude Fable 5 High.

arxiv τ²-bench (tau2-bench) · 14 hari lalu · 1 tayangan

τ-bench 1.0.1 memperbaiki penilaian banking_knowledge untuk mencegah hukuman terhadap perilaku agen yang berhati-hati

Sierra Research merilis τ-bench 1.0.1, yang memperbaiki skema penilaian tugas `banking_knowledge` untuk menghentikan hukuman terhadap agen karena verifikasi bacaan yang bijaksana dan memperbaiki beberapa inkonsistensi data. Pembaruan ini memastikan bahwa penilai ulang lintasan papan peringkat hanya meningkatkan skor, tanpa simulasi yang sebelumnya lulus menjadi gagal.

arxiv arXiv cs.CL · 21 hari lalu · 1 tayangan

Dekomposisi varians mengungkapkan bahwa bahasa kueri mendominasi kebisingan jawaban merek LLM

Sebuah studi menguraikan non-determinisme dalam rekomendasi merek model bahasa besar (LLM) menjadi empat sumber yang dapat dipisahkan: resampling dalam-prompt, parafrasa prompt, identitas model, dan bahasa kueri. Menggunakan analisis efek acak silang pada 12.933 respons di seluruh tiga model dan delapan bahasa, penulis mengidentifikasi bahasa kueri sebagai sumber varians terbesar sebesar 26,5%, sementara identitas merek hanya menyumbang 1,5%.

arxiv arXiv cs.CL · 23 hari lalu · 8 tayangan

AdvancedMathBench memperkenalkan ProverBench dan VerifierBench untuk evaluasi bukti matematika tingkat lanjut

Para peneliti memperkenalkan AdvancedMathBench, sebuah rangkaian benchmark yang dirancang untuk mengevaluasi kemampuan penalaran matematika tingkat lanjut dari model bahasa besar, mengatasi kesenjangan dalam cakupan disiplin dan granularitas evaluasi yang ditemukan pada benchmark yang ada.

arxiv arXiv cs.CL · 29 hari lalu · 6 tayangan

DataGovBench men-benchmark LLM terhadap kompleksitas data dunia nyata

Benchmark saat ini untuk mengevaluasi Large Language Models (LLM) dalam analisis data sering gagal mencerminkan pengaturan dunia nyata dengan berfokus pada pengambilan fakta dari tabel kecil sambil mengabaikan tantangan seperti dataset multi-tabel besar dan penemuan wawasan eksploratif. Untuk mengatasi hal ini, para penulis memperkenalkan DataGovBench, sebuah benchmark yang berasal dari data terbuka pemerintah yang dirancang untuk mengevaluasi LLM dalam skenario praktis.