arxiv τ²-bench (tau2-bench) · 1 jam lalu · evaluation

τ-bench 1.0.1 memperbaiki penilaian banking_knowledge untuk mencegah hukuman terhadap perilaku agen yang berhati-hati

Diterjemahkan dari English → Bahasa Indonesia

Sierra Research merilis τ-bench 1.0.1, yang memperbaiki skema penilaian tugas `banking_knowledge` untuk menghentikan hukuman terhadap agen karena verifikasi bacaan yang bijaksana dan memperbaiki beberapa inkonsistensi data. Pembaruan ini memastikan bahwa penilai ulang lintasan papan peringkat hanya meningkatkan skor, tanpa simulasi yang sebelumnya lulus menjadi gagal.

Panggilan baca database tambahan yang tidak ada dalam lintasan emas kini tidak lagi mengosongkan hadiah dengan meracuni perbandingan hash DB.
Argumen alat numerik dinormalisasi untuk mencegah ejaan integer vs. float mengubah ID catatan deterministik.
Lintasan emas untuk tugas 077–086 sekarang mencakup bacaan yang diperlukan untuk skenario kartu hilang/curian.
Output transaksi rekening bank diurutkan berdasarkan tanggal menurun untuk menyelesaikan pemecah seri dengan benar.
Tingkat cashback yang kontradiktif dalam dokumen pengetahuan Platinum Rewards dan biaya ATM yang kurang dibayar pada task_074 telah diperbaiki.

Penilaian ulang menunjukkan pergerakan skor naik untuk semua model, dengan gpt-5-5 mendapatkan 9.02 poin pass^1. Pengguna dapat menilai ulang hasil mereka sendiri menggunakan flag `--fresh-tasks` baru atau mengunci ke tag `pre-v1.0.1` untuk mereproduksi skor sebelumnya.

Kepentingan 1/3 Kepercayaan 2/3 τ²-bench (tau2-bench) Benchmark results Evaluation & benchmarks

Artikel terkait

arxiv arXiv cs.CL · 6 hari lalu

Dekomposisi varians mengungkapkan bahwa bahasa kueri mendominasi kebisingan jawaban merek LLM

Sebuah studi menguraikan non-determinisme dalam rekomendasi merek model bahasa besar (LLM) menjadi empat sumber yang dapat dipisahkan: resampling dalam-prompt, parafrasa prompt, identitas model, dan bahasa kueri. Menggunakan analisis efek acak silang pada 12.933 respons di seluruh tiga model dan delapan bahasa, penulis mengidentifikasi bahasa kueri sebagai sumber varians terbesar sebesar 26,5%, sementara identitas merek hanya menyumbang 1,5%.

arxiv arXiv cs.CL · 9 hari lalu · 2 tayangan

AdvancedMathBench memperkenalkan ProverBench dan VerifierBench untuk evaluasi bukti matematika tingkat lanjut

Para peneliti memperkenalkan AdvancedMathBench, sebuah rangkaian benchmark yang dirancang untuk mengevaluasi kemampuan penalaran matematika tingkat lanjut dari model bahasa besar, mengatasi kesenjangan dalam cakupan disiplin dan granularitas evaluasi yang ditemukan pada benchmark yang ada.

arxiv arXiv cs.CL · 15 hari lalu · 3 tayangan

DataGovBench men-benchmark LLM terhadap kompleksitas data dunia nyata

Benchmark saat ini untuk mengevaluasi Large Language Models (LLM) dalam analisis data sering gagal mencerminkan pengaturan dunia nyata dengan berfokus pada pengambilan fakta dari tabel kecil sambil mengabaikan tantangan seperti dataset multi-tabel besar dan penemuan wawasan eksploratif. Untuk mengatasi hal ini, para penulis memperkenalkan DataGovBench, sebuah benchmark yang berasal dari data terbuka pemerintah yang dirancang untuk mengevaluasi LLM dalam skenario praktis.

arxiv arXiv cs.CL · 15 hari lalu

MORE: benchmark parsing dokumen multibahasa yang mencakup 149 bahasa

Para peneliti memperkenalkan MORE, sebuah benchmark skala besar yang dirancang untuk mengevaluasi kinerja Vision-Language Models pada parsing dokumen multibahasa. Dataset ini mengatasi kurangnya ground truth untuk bahasa dengan sumber daya rendah dengan mengumpulkan sampel dari dokumen dunia nyata melalui pipeline anotasi yang dibantu model dan disempurnakan oleh manusia.

arxiv arXiv cs.CL · 16 hari lalu

MTEB-PT memperkenalkan benchmark embedding teks asli Brasil Portugis

Para penulis memperkenalkan MTEB-PT, sebuah benchmark khusus untuk mengevaluasi embedding teks dalam bahasa Portugis Brasil yang mengecualikan data terjemahan. Benchmark ini terdiri dari 22 tugas asli di tujuh kategori dan mengevaluasi 93 model dengan parameter berkisar dari 23M hingga 27B.