lab Hugging Face Blog · 1 hari lalu · releases

ProvenanceGuard menambahkan verifikasi sadar sumber ke agen MCP

Diterjemahkan dari English → Bahasa Indonesia

ProvenanceGuard adalah lapisan verifikasi pasca-pembuatan untuk agen Model Context Protocol (MCP) yang mendeteksi penggabungan lintas-sumber dengan memastikan klaim dikaitkan ke sumber bukti yang benar. Sistem ini menganalisis jejak MCP yang ditangkap tanpa melatih ulang agen, memecah jawaban menjadi klaim dan memverifikasi bahwa sumber pendukung cocok dengan yang dinamakan atau tersirat dalam output.

ProvenanceGuard menangkap 138 dari 139 klaim yang dianggap tidak didukung oleh pakar manusia sambil secara benar mengidentifikasi sumber yang tepat sekitar 86% dari waktu.
Dalam pengujian dengan sumber serupa, sistem ini mencetak F1 sebesar 0.846 untuk keputusan pemblokiran dan mengidentifikasi sumber tepat dalam 50.3% kasus.
Sistem ini berhasil mendeteksi semua 50 contoh atribusi salah di mana sumber yang dinamakan ditukar sementara bukti tetap utuh.
Sistem ini mengintegrasikan loop perbaikan bergaya RARR yang menyelesaikan semua jawaban yang diblokir, meskipun banyak di antaranya menghasilkan teks fallback aman daripada penulisan ulang substansial.

Pendekatan ini mengatasi keterbatasan skor kesetiaan dengan membuat provenance terlihat klaim demi klaim, yang sangat penting untuk pengaturan sensitif data di mana atribusi salah dapat sama merusaknya dengan fakta yang salah.

Kepentingan 1/3 Kerangka evaluasi baru dengan pembeda Kepercayaan 1/3 Hugging Face Blog Retrieval & RAG Safety & alignment

Artikel terkait

media Hugging Face Forums · 2 hari lalu · 2 tayangan

Grok menghubungkan proyek Covenant dengan karya Robert Hanson tanpa diminta

Penulis buku besar terdesentralisasi "Covenant" melaporkan bahwa Grok di X secara mandiri membandingkan proyek mereka dengan karya Robert "Grizzly" Hanson, meskipun tidak ada permintaan atau penyebutan sebelumnya. Ini menandai kejadian ketiga kalinya sebuah sistem AI menghubungkan Covenant dengan karya eksternal tanpa diminta.

arxiv arXiv cs.CL · 44 hari lalu · 35 tayangan

Pertahanan saat ingestasi gagal melawan racun pengambilan vektor yang terkoordinasi

Sebuah studi menunjukkan bahwa filter saat penerimaan tidak dapat mencegah serangan racun yang terkoordinasi pada sistem pengambilan vektor, karena pola yang identik secara geometris ada baik untuk unggahan niche yang sah maupun injeksi berbahaya. Para peneliti menunjukkan bahwa sejumlah kecil dokumen biasa dapat mengelilingi kueri target untuk merebut hasil top-k dalam benchmark BGE-large / BEIR.

media Hugging Face Forums · 65 hari lalu · 11 tayangan

Ulasan DESi Review: keterampilan Claude yang dapat diinstal untuk ulasan paper epistemik terstruktur

Penulis telah merilis DESi Review, sebuah aplikasi praktis dari kerangka kerja tata kelola epistemik DESi yang independen terhadap model, dikemas sebagai keterampilan Claude yang dapat diinstal. Alat ini menjalankan alur kerja ulasan paper terstruktur atas teks bahasa Inggris dengan memisahkan ekstraksi klaim deterministik dari adjudikasi berbasis model.

arxiv arXiv cs.CL · 77 hari lalu · 15 tayangan

PCC-SQL menegakkan kontrol akses tingkat kolom dalam Text-to-SQL melalui decoding terkondisi kebijakan

Peneliti memperkenalkan PCC-SQL, sebuah sistem yang mengintegrasikan kebijakan penggunaan kolom ke dalam generasi teks-ke-SQL untuk memastikan kepatuhan deterministik terhadap aturan akses data. Pendekatan ini memformalkan kebijakan berdasarkan penggunaan semantik—output, kondisi filter, dan argumen agregasi—dan menyelaraskannya dengan produksi tata bahasa yang dilacak oleh decoder.

arxiv arXiv cs.CL · 79 hari lalu · 12 tayangan

Studi menemukan bahwa RAG mentransfer wacana ideologis ke output LLM, dipengaruhi oleh suhu

Sebuah studi memeriksa bagaimana kerangka kerja Retrieval-Augmented Generation (RAG) mentransmisikan bias ideologis dari materi yang diambil ke respons model bahasa besar (LLM). Penelitian ini mengidentifikasi bahwa suhu pengambilan sampel secara signifikan memengaruhi kekuatan transfer ideologis ini.