media Hugging Face Forums · 2 jam lalu · open_models

Levent Bulut melakukan benchmark keandalan anotasi LLM pada proyeksi objektif

Diterjemahkan dari English → Bahasa Indonesia

Levent Bulut menerbitkan sebuah benchmark tiga studi yang mengevaluasi keandalan anotasi yang dihasilkan mesin untuk korpus naratif Turki, mengungkapkan ketidaksesuaian signifikan antara penilai otomatis dan penilaian manusia. Studi ini menguji enam fitur kerajinan biner di 120 dan 100 adegan menggunakan detektor berbasis aturan dan model termasuk Gemini 2.5 Flash, Grok, ChatGPT 5.5, dan Claude Fable 5 High.

Skor Cohen’s kappa mendekati keacakan untuk lima dari enam penilai, berkisar dari 0.000 hingga 0.027.
Untuk aturan yang memerlukan inferensi pada keadaan abstrak, penilai manusia mengidentifikasi 9 positif sementara ChatGPT 5.5 mengidentifikasi 40 dan detektor mengidentifikasi 72.
ChatGPT 5.5 mencapai kesepakatan mentah tertinggi sebesar 84,5%, terutama karena lima dari enam aturan memiliki distribusi timpang yang mendukung label negatif.
Penulis mencatat bahwa empat dari enam aturan secara efektif tidak dapat diuji karena cacat pada set evaluasi bukan kegagalan model.

Hasil ini menunjukkan bahwa fitur tersebut memerlukan inferensi di luar kemampuan model saat ini atau definisinya tidak cukup operasional untuk penerapan yang konsisten. Bulut telah membuka sumber dataset, prompt, dan skrip untuk mencari penilai manusia independen kedua.

Kepentingan 1/3 Kepercayaan 1/3 Hugging Face Forums Benchmark results Evaluation & benchmarks

Artikel terkait

arxiv τ²-bench (tau2-bench) · 10 hari lalu

τ-bench 1.0.1 memperbaiki penilaian banking_knowledge untuk mencegah hukuman terhadap perilaku agen yang berhati-hati

Sierra Research merilis τ-bench 1.0.1, yang memperbaiki skema penilaian tugas `banking_knowledge` untuk menghentikan hukuman terhadap agen karena verifikasi bacaan yang bijaksana dan memperbaiki beberapa inkonsistensi data. Pembaruan ini memastikan bahwa penilai ulang lintasan papan peringkat hanya meningkatkan skor, tanpa simulasi yang sebelumnya lulus menjadi gagal.

arxiv arXiv cs.CL · 17 hari lalu

Dekomposisi varians mengungkapkan bahwa bahasa kueri mendominasi kebisingan jawaban merek LLM

Sebuah studi menguraikan non-determinisme dalam rekomendasi merek model bahasa besar (LLM) menjadi empat sumber yang dapat dipisahkan: resampling dalam-prompt, parafrasa prompt, identitas model, dan bahasa kueri. Menggunakan analisis efek acak silang pada 12.933 respons di seluruh tiga model dan delapan bahasa, penulis mengidentifikasi bahasa kueri sebagai sumber varians terbesar sebesar 26,5%, sementara identitas merek hanya menyumbang 1,5%.

arxiv arXiv cs.CL · 19 hari lalu · 2 tayangan

AdvancedMathBench memperkenalkan ProverBench dan VerifierBench untuk evaluasi bukti matematika tingkat lanjut

Para peneliti memperkenalkan AdvancedMathBench, sebuah rangkaian benchmark yang dirancang untuk mengevaluasi kemampuan penalaran matematika tingkat lanjut dari model bahasa besar, mengatasi kesenjangan dalam cakupan disiplin dan granularitas evaluasi yang ditemukan pada benchmark yang ada.

arxiv arXiv cs.CL · 25 hari lalu · 3 tayangan

DataGovBench men-benchmark LLM terhadap kompleksitas data dunia nyata

Benchmark saat ini untuk mengevaluasi Large Language Models (LLM) dalam analisis data sering gagal mencerminkan pengaturan dunia nyata dengan berfokus pada pengambilan fakta dari tabel kecil sambil mengabaikan tantangan seperti dataset multi-tabel besar dan penemuan wawasan eksploratif. Untuk mengatasi hal ini, para penulis memperkenalkan DataGovBench, sebuah benchmark yang berasal dari data terbuka pemerintah yang dirancang untuk mengevaluasi LLM dalam skenario praktis.

arxiv arXiv cs.CL · 26 hari lalu

MORE: benchmark parsing dokumen multibahasa yang mencakup 149 bahasa

Para peneliti memperkenalkan MORE, sebuah benchmark skala besar yang dirancang untuk mengevaluasi kinerja Vision-Language Models pada parsing dokumen multibahasa. Dataset ini mengatasi kurangnya ground truth untuk bahasa dengan sumber daya rendah dengan mengumpulkan sampel dari dokumen dunia nyata melalui pipeline anotasi yang dibantu model dan disempurnakan oleh manusia.