media Hugging Face Forums · 1 jam lalu · open_models

Penulis mengusulkan registri k terbuka untuk saturasi bukti dalam LLM lokal

Diterjemahkan dari English → Bahasa Indonesia

Penulis telah menerbitkan makalah percontohan dan registri terbuka di Hugging Face untuk mengukur titik saturasi bukti (k*) model bahasa. Metrik ini menentukan jumlah fragmen bukti optimal yang disuntikkan ke dalam prompt, karena menambahkan lebih banyak konteks tidak secara monoton meningkatkan kebenaran dan dapat meningkatkan biaya atau kontaminasi epistemik.

Studi menemukan bahwa k optimal untuk kebenaran berkisar dari 1 hingga set bukti lengkap tergantung pada jenis tugas, menunjukkan bahwa satu profil konteks saja tidak cukup.
Evidence-k Registry terbuka telah dibuat di Hugging Face, disemai dengan 35 pengukuran tingkat tugas dari makalah tersebut.
Registri mengundang operator model lokal untuk berkontribusi dengan mendokumentasikan revisi model, kuantisasi, backend yang dilayani, dan metrik keandalan.

Inisiatif ini bertujuan untuk menyediakan protokol yang dapat direproduksi untuk mengkalibrasi jendela konteks per model dan backend guna menyeimbangkan kebenaran dengan efisiensi.

Kepentingan 1/3 Kepercayaan 1/3 Hugging Face Forums Evaluation & benchmarks Retrieval & RAG

Artikel terkait

arxiv arXiv cs.CL · 6 hari lalu

Sinyal LLM-as-a-judge gagal mengoptimalkan pengenalan tabel loop tertutup

Sebuah studi menggunakan FinTabNet dan OmniDocBench menunjukkan bahwa sinyal LLM-as-a-judge tidak cukup untuk mengoptimalkan regenerasi loop tertutup dalam pengenalan tabel. Penelitian mengungkapkan bahwa skor hakim sering kali seri, peringkat tidak dapat direproduksi, dan sistem gagal memulihkan kandidat yang lebih baik yang dihasilkan oleh iterasi.

arxiv arXiv cs.CL · 6 hari lalu

DeepStress menguji stres agen pencarian mendalam terhadap bukti yang tidak dapat diandalkan

Para penulis memperkenalkan DeepStress, sebuah kerangka kerja untuk menguji stres agen pencarian mendalam dengan mengganti modul pengambilan mereka dengan lingkungan sintetis yang terkontrol. Pendekatan ini memungkinkan peneliti memanipulasi frekuensi dan kualitas bukti di tiga dimensi: keandalan, relevansi, dan faktualitas.

arxiv arXiv cs.CL · 6 hari lalu · 2 tayangan

Hindcast menutup kebocoran data dalam evaluasi peramal LLM

Kerangka Hindcast mengevaluasi peramal LLM dengan memutar ulang pasar prediksi Polymarket yang telah diselesaikan terhadap snapshot Reddit publik yang dibekukan, menilai model seolah-olah mereka ada pada tanggal tertentu di masa lalu. Pendekatan ini mencegah dua saluran kebocoran jawaban umum: pengambilan laporan pasca-peristiwa dan kontaminasi data pelatihan dari peristiwa yang terjadi setelah rilis model.

arxiv arXiv cs.CL · 7 hari lalu

RCWT mengukur pergeseran tugas-anggaran dari konten koordinasi dalam panggilan LLM

Uji Jendela Konteks Roundtable (RCWT) adalah protokol terkontrol yang dirancang untuk mengukur efek pergeseran tugas-anggaran yang disebabkan oleh penempatan konten koordinasi di dalam prompt terbatas pada sistem LLM multi-agen dan yang diperkaya memori.

arxiv arXiv cs.CL · 7 hari lalu

LakeQuest: Benchmark Tiga-Domain untuk Jawaban Pertanyaan Berlandaskan di Seluruh Data Lake

Para peneliti memperkenalkan LakeQuest, sebuah benchmark yang divalidasi manusia terdiri dari 9.846 pasangan pertanyaan-jawaban yang dirancang untuk mengevaluasi pipeline retrieve-and-synthesize end-to-end di atas data lake realistis. Dataset ini mencakup tiga domain yang beragam—metadata AI/ML, perbankan ritel, dan informasi obat biomedis multimodal—dan memasangkan setiap pertanyaan dengan penunjuk bukti yang tepat dan sadar modalitas.