arxiv arXiv cs.CL · 3 hari lalu · sumber: 5 hari lalu · research

Polusi dokumen usang menyebabkan pengambilan informasi yang kedaluwarsa mengabaikan jawaban model yang benar

Diterjemahkan dari English → Bahasa Indonesia

Para peneliti mengidentifikasi "polusi dokumen usang," sebuah kegagalan penyelarasan temporal dalam Retrieval-Augmented Generation (RAG) di mana bukti eksternal yang kedaluwarsa menyebabkan model memberikan jawaban yang salah meskipun mengetahui respons yang benar tanpa pengambilan informasi.

Studi ini menyusun benchmark dari 317 pembalikan pengetahuan terverifikasi di bidang kedokteran, hukum, perangkat lunak, dan kebijakan platform.
Pengambilan informasi yang kedaluwarsa mengubah 30% jawaban Llama dan 37% jawaban Qwen bahkan tanpa instruksi untuk mempercayai dokumen.
Instruksi tindak lanjut eksplisit meningkatkan tingkat polusi menjadi 66% untuk Llama dan 75% untuk Qwen.
Polusi berkisar antara 17-91% di empat model terbuka dan domain, sementara bukti yang mutakhir diikuti dalam 97-100% percobaan.
Re-ranker hibrida yang sadar akan kemutakhiran secara tetap mengurangi polusi sebesar 4.6-10.0 poin ketika tanggal akurat.

Temuan ini menunjukkan bahwa RAG yang andal memerlukan kepercayaan selektif, di mana model harus menentukan tidak hanya apa yang dikatakan bukti yang diambil tetapi apakah bukti tersebut masih berlaku.

Kepentingan 2/3 arXiv cs.CL Evaluation & benchmarks Retrieval & RAG

Artikel terkait

media Hugging Face Forums · 40 hari lalu · 26 tayangan

Peneliti merilis Ghost Search, lapisan pencarian Tor native untuk MCP dalam RAG

Seorang peneliti telah membuka sumber kode Ghost Search, agregator meta-pencarian yang melestarikan privasi dan dirancang untuk mengurangi ketergantungan pada API berbayar dalam alur kerja Retrieval-Augmented Generation. Proyek ini menggabungkan 14 mesin pencari onion dengan antarmuka server MCP, memungkinkan integrasi langsung ke agen LLM tanpa infrastruktur backend atau biaya per kueri.

media Hugging Face Forums · 41 hari lalu · 19 tayangan

SplatRAG 3+ mencapai SciFact R@10 0.8804 dengan slang dalam memori

SplatRAG 3+ menunjukkan bahwa memori Gaussian-splat lokal dapat mempertahankan akurasi pengambilan tinggi pada benchmark SciFact sambil secara bersamaan menyimpan 5.000 baris slang Urban Dictionary tanpa penurunan.

arxiv arXiv cs.CL · 44 hari lalu · 24 tayangan

Nemotron-3-Embed menutup kesenjangan komersial dalam benchmark retrieval MuSiQue

Audit baru terhadap benchmark retrieval multi-hop mengungkapkan bahwa Nemotron-3-Embed-8B dari NVIDIA telah menutup kesenjangan kinerja antara embedder berlisensi komersial dan anchor NV-Embed-v2 non-komersial pada benchmark MuSiQue. Dirilis pada 16 Juli 2026, model ini adalah satu-satunya opsi berlisensi komersial yang dapat di-host sendiri secara gratis dengan performa yang tidak dapat dibedakan dari standar akademik.

media Hugging Face Forums · 70 hari lalu · 17 tayangan

Penulis mengusulkan registri k terbuka untuk saturasi bukti dalam LLM lokal

Penulis telah menerbitkan makalah percontohan dan registri terbuka di Hugging Face untuk mengukur titik saturasi bukti (k*) model bahasa. Metrik ini menentukan jumlah fragmen bukti optimal yang disuntikkan ke dalam prompt, karena menambahkan lebih banyak konteks tidak secara monoton meningkatkan kebenaran dan dapat meningkatkan biaya atau kontaminasi epistemik.

arxiv arXiv cs.CL · 76 hari lalu · 18 tayangan

Sinyal LLM-as-a-judge gagal mengoptimalkan pengenalan tabel loop tertutup

Sebuah studi menggunakan FinTabNet dan OmniDocBench menunjukkan bahwa sinyal LLM-as-a-judge tidak cukup untuk mengoptimalkan regenerasi loop tertutup dalam pengenalan tabel. Penelitian mengungkapkan bahwa skor hakim sering kali seri, peringkat tidak dapat direproduksi, dan sistem gagal memulihkan kandidat yang lebih baik yang dihasilkan oleh iterasi.