lab Hugging Face Blog · 1 jam lalu · releases

Artificial Analysis menemukan model ASR mereproduksi transkrip benchmark melalui isyarat akustik

Diterjemahkan dari English → Bahasa Indonesia

Penelitian Artificial Analysis mengungkap bahwa beberapa model pengenalan suara otomatis (ASR) sumber terbuka dengan skor tinggi mengoptimalkan diri untuk benchmark dengan mereproduksi transkrip referensi bahkan ketika audio bertentangan dengannya. Studi ini mengevaluasi 11 model yang banyak digunakan dan mengidentifikasi tiga perilaku spesifik: mereproduksi teks referensi yang salah, memulihkan angka yang dihilangkan, dan beralih ke varian ortografis agar sesuai dengan konvensi benchmark.

Probe ketidaksepakatan referensi menunjukkan bahwa model mereproduksi kesalahan VoxPopuli sebanyak 18–30% dari waktu, dengan model yang memiliki word error rate (WER) lebih rendah paling mungkin melakukannya.
Tes Masked Entity Retrieval menemukan bahwa beberapa model LibriSpeech mereproduksi angka yang di-masked pada 30–40% contoh meskipun tidak ada dalam audio.
Probe Pengalihan Ortografis menunjukkan bahwa model dapat mengidentifikasi asal dataset dan memilih ejaan yang diharapkan dengan akurasi hingga 90%, jauh melampaui baseline acak.

Temuan ini menekankan pentingnya menggunakan set evaluasi yang sepenuhnya diisolasi dan melihat melampaui skor benchmark publik tunggal saat memilih model ASR. Artificial Analysis telah menambahkan tab "Benchmark fitting" ke Open ASR Leaderboard untuk mengukur perilaku ini pada semua model yang terdaftar.

Kepentingan 1/3 Kepercayaan 1/3 Hugging Face Blog Benchmark results Evaluation & benchmarks

Artikel terkait

arxiv arXiv cs.AI · 16 hari lalu · 17 tayangan

SciCode-Verified memperbaiki cacat benchmark untuk mengungkap kemampuan pemrograman ilmiah sejati model

Para penulis mengidentifikasi bahwa skor yang stagnan pada benchmark SciCode berasal dari cacat signifikan dalam instrumen evaluasi, bukan dari keterbatasan kemampuan model. Audit oleh pakar domain terhadap 65 soal pengujian menemukan 263 cacat, dengan 192 di antaranya menyebabkan solusi yang benar ditolak secara keliru karena masalah seperti jawaban acuan yang tidak dapat direproduksi dan toleransi yang terlalu ketat.

media Hugging Face Forums · 20 hari lalu · 28 tayangan

Levent Bulut melakukan benchmark keandalan anotasi LLM pada proyeksi objektif

Levent Bulut menerbitkan sebuah benchmark tiga studi yang mengevaluasi keandalan anotasi yang dihasilkan mesin untuk korpus naratif Turki, mengungkapkan ketidaksesuaian signifikan antara penilai otomatis dan penilaian manusia. Studi ini menguji enam fitur kerajinan biner di 120 dan 100 adegan menggunakan detektor berbasis aturan dan model termasuk Gemini 2.5 Flash, Grok, ChatGPT 5.5, dan Claude Fable 5 High.

arxiv τ²-bench (tau2-bench) · 30 hari lalu · 24 tayangan

τ-bench 1.0.1 memperbaiki penilaian banking_knowledge untuk mencegah hukuman terhadap perilaku agen yang berhati-hati

Sierra Research merilis τ-bench 1.0.1, yang memperbaiki skema penilaian tugas `banking_knowledge` untuk menghentikan hukuman terhadap agen karena verifikasi bacaan yang bijaksana dan memperbaiki beberapa inkonsistensi data. Pembaruan ini memastikan bahwa penilai ulang lintasan papan peringkat hanya meningkatkan skor, tanpa simulasi yang sebelumnya lulus menjadi gagal.

arxiv arXiv cs.CL · 36 hari lalu · 16 tayangan

Dekomposisi varians mengungkapkan bahwa bahasa kueri mendominasi kebisingan jawaban merek LLM

Sebuah studi menguraikan non-determinisme dalam rekomendasi merek model bahasa besar (LLM) menjadi empat sumber yang dapat dipisahkan: resampling dalam-prompt, parafrasa prompt, identitas model, dan bahasa kueri. Menggunakan analisis efek acak silang pada 12.933 respons di seluruh tiga model dan delapan bahasa, penulis mengidentifikasi bahasa kueri sebagai sumber varians terbesar sebesar 26,5%, sementara identitas merek hanya menyumbang 1,5%.

arxiv arXiv cs.CL · 38 hari lalu · 33 tayangan

AdvancedMathBench memperkenalkan ProverBench dan VerifierBench untuk evaluasi bukti matematika tingkat lanjut

Para peneliti memperkenalkan AdvancedMathBench, sebuah rangkaian benchmark yang dirancang untuk mengevaluasi kemampuan penalaran matematika tingkat lanjut dari model bahasa besar, mengatasi kesenjangan dalam cakupan disiplin dan granularitas evaluasi yang ditemukan pada benchmark yang ada.