media Hugging Face Forums · baru saja · open_models

SplatRAG 3+ mencapai SciFact R@10 0.8804 dengan slang dalam memori

Diterjemahkan dari English → Bahasa Indonesia

SplatRAG 3+ menunjukkan bahwa memori Gaussian-splat lokal dapat mempertahankan akurasi pengambilan tinggi pada benchmark SciFact sambil secara bersamaan menyimpan 5.000 baris slang Urban Dictionary tanpa penurunan.

Sistem menggunakan log dingin append-only dengan BM25 dan indeks HNSW 64-d, di mana bidang 3-d berfungsi sebagai visualisasi PCA dari vektor daripada indeks itu sendiri.
Evaluasi SciFact pada 300 klaim menghasilkan R@10 sebesar 0.8804 dan nDCG@10 sebesar 0.7624, melampaui metrik dasar sebelumnya sebesar 0,88 dan 0,75.
Peningkatan kinerja didorong oleh Reciprocal Rank Fusion (RRF) yang menggabungkan BM25 dengan output kosinus penuh 4096-d Qwen3-Embedding-8B, memanfaatkan dimensi yang sebelumnya tidak terpakai.
Filter evaluasi memastikan hasil domain-sciFact tidak terkontaminasi oleh entri slang, mengonfirmasi bahwa dokumen sains tetap terpisah dalam bidang bersama.

Hasil menunjukkan bahwa pengambilan leksikal tetap menjadi utama untuk SciFact dan bahwa strategi reranking hibrida dapat secara efektif memanfaatkan ruang embedding berdimensi tinggi tanpa memerlukan penyimpanan terpisah untuk berbagai jenis data.

Kepentingan 1/3 Kepercayaan 1/3 Hugging Face Forums Evaluation & benchmarks Retrieval & RAG

Artikel terkait

arxiv arXiv cs.CL · 3 hari lalu · 9 tayangan

Nemotron-3-Embed menutup kesenjangan komersial dalam benchmark retrieval MuSiQue

Audit baru terhadap benchmark retrieval multi-hop mengungkapkan bahwa Nemotron-3-Embed-8B dari NVIDIA telah menutup kesenjangan kinerja antara embedder berlisensi komersial dan anchor NV-Embed-v2 non-komersial pada benchmark MuSiQue. Dirilis pada 16 Juli 2026, model ini adalah satu-satunya opsi berlisensi komersial yang dapat di-host sendiri secara gratis dengan performa yang tidak dapat dibedakan dari standar akademik.

media Hugging Face Forums · 30 hari lalu · 21 tayangan

Penulis mengusulkan registri k terbuka untuk saturasi bukti dalam LLM lokal

Penulis telah menerbitkan makalah percontohan dan registri terbuka di Hugging Face untuk mengukur titik saturasi bukti (k*) model bahasa. Metrik ini menentukan jumlah fragmen bukti optimal yang disuntikkan ke dalam prompt, karena menambahkan lebih banyak konteks tidak secara monoton meningkatkan kebenaran dan dapat meningkatkan biaya atau kontaminasi epistemik.

arxiv arXiv cs.CL · 36 hari lalu · 8 tayangan

Sinyal LLM-as-a-judge gagal mengoptimalkan pengenalan tabel loop tertutup

Sebuah studi menggunakan FinTabNet dan OmniDocBench menunjukkan bahwa sinyal LLM-as-a-judge tidak cukup untuk mengoptimalkan regenerasi loop tertutup dalam pengenalan tabel. Penelitian mengungkapkan bahwa skor hakim sering kali seri, peringkat tidak dapat direproduksi, dan sistem gagal memulihkan kandidat yang lebih baik yang dihasilkan oleh iterasi.

arxiv arXiv cs.CL · 36 hari lalu · 10 tayangan

DeepStress menguji stres agen pencarian mendalam terhadap bukti yang tidak dapat diandalkan

Para penulis memperkenalkan DeepStress, sebuah kerangka kerja untuk menguji stres agen pencarian mendalam dengan mengganti modul pengambilan mereka dengan lingkungan sintetis yang terkontrol. Pendekatan ini memungkinkan peneliti memanipulasi frekuensi dan kualitas bukti di tiga dimensi: keandalan, relevansi, dan faktualitas.

arxiv arXiv cs.CL · 36 hari lalu · 25 tayangan

Hindcast menutup kebocoran data dalam evaluasi peramal LLM

Kerangka Hindcast mengevaluasi peramal LLM dengan memutar ulang pasar prediksi Polymarket yang telah diselesaikan terhadap snapshot Reddit publik yang dibekukan, menilai model seolah-olah mereka ada pada tanggal tertentu di masa lalu. Pendekatan ini mencegah dua saluran kebocoran jawaban umum: pengambilan laporan pasca-peristiwa dan kontaminasi data pelatihan dari peristiwa yang terjadi setelah rilis model.