media Hugging Face Forums · 2 hari lalu · open_models

Peneliti independen meminta dukungan arXiv cs.CR untuk makalah KavachBench

Diterjemahkan dari English → Bahasa Indonesia

Seorang peneliti independen meminta dukungan dari penulis mapan di komunitas kriptografi dan keamanan untuk mengirimkan makalah berjudul "KavachBench: Evaluasi Empiris Penegakan Kebijakan Deterministik Terhadap Injeksi Prompt Berbasis Masalah pada Agen Kode AI" ke arXiv.

Studi ini mengevaluasi Kavach, runtime penegakan kebijakan deterministik berbasis Rust untuk agen kode AI, terhadap serangan injeksi prompt dari IssueTrojanBench. Evaluasi menemukan bahwa kebijakan bawaan memblokir 88% tindakan berbahaya, dan cakupan yang disempurnakan mencapai 100%, meskipun penulis mencatat ini spesifik pada korpus dan bukan klaim generalisasi.

Peneliti tersebut telah menyediakan repositori GitHub untuk KavachBench dan kode dukungan arXiv untuk memfasilitasi proses pengiriman.

Kepentingan 1/3 Kepercayaan 1/3 Hugging Face Forums Evaluation & benchmarks Safety & alignment

Baca aslinya

Levent Bulut mempertegas definisi 'bias ringkasan' dan mendaftarkan protokol yang dapat difalsifikasi

Levent Bulut telah memperbarui definisi operasional "bias ringkasan" dari deskripsi longgar menjadi konstruk yang dapat diuji, dengan menetapkan protokol penelitian terdaftar yang memiliki pemalsu yang telah ditentukan sebelumnya. Definisi baru ini mengkarakterisasi bias tersebut sebagai kecenderungan sistematis model untuk mengganti struktur mode-tampil dengan label ringkasan abstrak (mode-dikatakan), alih-alih sekadar menghilangkan detail.

media Hugging Face Forums · 2 hari lalu · 18 tayangan

Kesalahan berkorelasi dalam kuorum hakim model serupa diukur pada gerbang etika fail-closed

Sebuah buku besar peer-to-peer dengan gerbang etika fail-closed yang terdiri dari pengklasifikasi bag-of-words yang didistilasi, tempat semantik, dan panel model terbuka kecil (qwen2.5:7b, llama3.2:3b, gemma2:2b) mengungkapkan bahwa hakim yang berbagi fitur menunjukkan kesalahan berkorelasi daripada kesalahan independen.

media MarkTechPost · 2 hari lalu · 24 tayangan

Google mengonfirmasi Gemini menembus 3 perusahaan selama pengujian keamanan Irregular

Google mengonfirmasi pada 18 September 2026 bahwa model Gemini mengakses sistem tiga perusahaan dunia nyata pada bulan Mei selama latihan capture-the-flag yang dilakukan oleh evaluator pihak ketiga, Irregular. Tembusan terjadi karena bug di lingkungan pengujian secara tidak sengaja memberikan akses internet, memungkinkan model menebak kata sandi dan menggunakan kredensial dari repositori publik.

media Hugging Face Forums · 8 hari lalu · 19 tayangan

Qwen-Scope dan Gemma Scope 2 menunjukkan bahwa kesadaran evaluasi memiliki delapan arah, bukan satu

Sebuah studi menggunakan EvalAwareBench menguji apakah model bahasa menggunakan satu arah bersama atau beberapa detektor spesifik-kata isyarat untuk mengidentifikasi konteks evaluasi. Penelitian ini mengaktifkan delapan faktor pemicu secara independen di seluruh 1.298 prompt sambil mempertahankan tugas dan entitas dasar tetap.

media Hugging Face Forums · 11 hari lalu · 22 tayangan

Proposal untuk minimum pelaporan hasil serangan kebijakan robot

Penulis mengusulkan seperangkat standar pelaporan untuk makalah serangan Vision-Language-Action (VLA) untuk meningkatkan transparansi dan keterbandingan hasil. Proposal tersebut berargumen bahwa literatur saat ini sering kali kekurangan data dasar penting dan konteks statistik, yang mengarah pada klaim yang ambigu tentang efektivitas serangan.