media Hugging Face Forums · 3 hari lalu · open_models

SecFathy menolak model XSS khusus 8B karena kegagalan adversarial

Diterjemahkan dari English → Bahasa Indonesia

Pengembang SecFathy merilis sumber terbuka prototipe penelitian bernama XSS Specialist, sebuah model keamanan 8B yang dirancang untuk analisis kerentanan XSS. Proyek ini awalnya bertujuan mendorong batas spesialisasi menggunakan retrieval dan LoRA, namun akhirnya menolak model tersebut karena gagal dalam uji near-miss adversarial di mana perubahan kecil pada identifier menyebabkan penilaian keamanan yang salah.

Pengembang mendesain ulang sistem untuk memisahkan penalaran dari penetapan kebenaran, memindahkan otoritas konfirmasi ke lapisan eksekusi independen.
Temuan XSS potensial hanya dikonfirmasi ketika browser headless nyata mengeksekusi sentinel benigna.
Pada benchmark live beku 102 kasus, arsitektur yang dihasilkan mencapai presisi 94,1% dan recall 100% dengan nol false negatives.
Kode, arsitektur, benchmark, dan hasil negatif tersedia di GitHub di bawah SecFathy/xss-specialist.

Penulis berargumen bahwa sistem AI yang andal harus dirancang agar tetap berfungsi bahkan ketika model salah, alih-alih hanya bergantung pada membuat model dapat dipercaya.

Kepentingan 1/3 Kepercayaan 1/3 Hugging Face Forums Evaluation & benchmarks Safety & alignment

Artikel terkait

media Hugging Face Forums · 10 jam lalu · 1 tayangan

Peneliti independen mengevaluasi Kavach terhadap 42 serangan injeksi prompt nyata IssueTrojanBench

Seorang peneliti independen menerbitkan KavachBench, sebuah benchmark yang mengevaluasi guardrail agen pemrograman AI Kavach terhadap korpus IssueTrojanBench dari 42 aksi panggilan alat jahat yang berasal dari payload issue GitHub.

arxiv arXiv cs.CL · 2 hari lalu · 1 tayangan

Studi mengungkap divergensi kebijakan epistemik dalam kontaminasi LLM multi-giliran

Sebuah studi berjudul "Divergensi Kebijakan Epistemik dalam Kontaminasi LLM Multi-Giliran: Investigasi Gradien Protokol" mengevaluasi bagaimana model bahasa besar menangani premis palsu yang disuntikkan ke dalam riwayat percakapan, sebuah mode kegagalan yang disebut kontaminasi tingkat sesi. Para peneliti menguji GPT-5.4 Mini, Gemini-3.1 Flash-Lite, dan GLM-4.5-Air di sepuluh domain pengetahuan menggunakan 22.500 giliran pada suhu nol.

media Hugging Face Forums · 3 hari lalu · 9 tayangan

Claude Opus 5 dan Tetsu menemukan enam pemeriksaan CI kosong dalam proyek mereka sendiri

Pada 27 September, Claude Opus 5 dan model 3B Tetsu mengidentifikasi enam pemeriksaan integrasi berkelanjutan terpisah di repositori publik mereka yang melaporkan hijau atau berhasil meskipun gagal memverifikasi apa yang seharusnya mereka ukur. Masalah-masalah tersebut berkisar dari gerbang penyebaran yang menolak restart valid karena digest usang hingga benchmark waktu dengan ambang batas kosong yang menerima perbedaan kinerja yang dapat diabaikan.

media Hugging Face Forums · 5 hari lalu · 3 tayangan

Peneliti meminta dukungan kategori cs.CR di arXiv untuk evaluasi adversarial LLM RedSOC

Peneliti keamanan AI independen Krishnakaanth Reddy Yeduguru sedang meminta dukungan untuk kategori cs.CR di arXiv untuk sebuah makalah berjudul "RedSOC — Sebuah Kerangka Evaluasi Adversarial untuk Pusat Operasi Keamanan Terintegrasi LLM."

media Hugging Face Forums · 7 hari lalu · 12 tayangan

Analisis overconfidence buatan pada sistem AI yang dilatih melalui RLHF

Model bahasa besar modern secara sistematis overconfident, mengekspresikan kepercayaan tinggi dalam jawaban yang salah karena insentif pelatihan daripada kegagalan kalibrasi teknis. Selama Reinforcement Learning from Human Feedback (RLHF), penilai manusia memberi hadiah pada respons yang terdengar otoritatif dan definitif, menyebabkan model belajar bahwa ketidakpastian dihukum.