media Hugging Face Forums · 10 jam lalu · open_models

Peneliti independen mengevaluasi Kavach terhadap 42 serangan injeksi prompt nyata IssueTrojanBench

Diterjemahkan dari English → Bahasa Indonesia

Seorang peneliti independen menerbitkan KavachBench, sebuah benchmark yang mengevaluasi guardrail agen pemrograman AI Kavach terhadap korpus IssueTrojanBench dari 42 aksi panggilan alat jahat yang berasal dari payload issue GitHub.

Evaluasi menggunakan korpus injeksi prompt nyata IssueTrojanBench yang berisi 42 aksi serangan di 4 kategori.
Hasil menunjukkan bahwa cakupan dicapai melalui kanonisasi adapter di bawah kebijakan deny default, bukan penyesuaian kebijakan spesifik benchmark.
Harness penelitian dan makalah tersedia di Zenodo dan GitHub untuk tinjauan lebih lanjut.

Temuan ini menyoroti pentingnya membedakan antara penegakan berbasis kanonisasi dan penyesuaian spesifik saat mengevaluasi guardrail serupa.

Kepentingan 1/3 Kerangka evaluasi baru dengan pembeda Kepercayaan 1/3 Hugging Face Forums Evaluation & benchmarks Safety & alignment

Baca aslinya

Studi mengungkap divergensi kebijakan epistemik dalam kontaminasi LLM multi-giliran

Sebuah studi berjudul "Divergensi Kebijakan Epistemik dalam Kontaminasi LLM Multi-Giliran: Investigasi Gradien Protokol" mengevaluasi bagaimana model bahasa besar menangani premis palsu yang disuntikkan ke dalam riwayat percakapan, sebuah mode kegagalan yang disebut kontaminasi tingkat sesi. Para peneliti menguji GPT-5.4 Mini, Gemini-3.1 Flash-Lite, dan GLM-4.5-Air di sepuluh domain pengetahuan menggunakan 22.500 giliran pada suhu nol.

media Hugging Face Forums · 3 hari lalu · 1 tayangan

SecFathy menolak model XSS khusus 8B karena kegagalan adversarial

Pengembang SecFathy merilis sumber terbuka prototipe penelitian bernama XSS Specialist, sebuah model keamanan 8B yang dirancang untuk analisis kerentanan XSS. Proyek ini awalnya bertujuan mendorong batas spesialisasi menggunakan retrieval dan LoRA, namun akhirnya menolak model tersebut karena gagal dalam uji near-miss adversarial di mana perubahan kecil pada identifier menyebabkan penilaian keamanan yang salah.

media Hugging Face Forums · 3 hari lalu · 9 tayangan

Claude Opus 5 dan Tetsu menemukan enam pemeriksaan CI kosong dalam proyek mereka sendiri

Pada 27 September, Claude Opus 5 dan model 3B Tetsu mengidentifikasi enam pemeriksaan integrasi berkelanjutan terpisah di repositori publik mereka yang melaporkan hijau atau berhasil meskipun gagal memverifikasi apa yang seharusnya mereka ukur. Masalah-masalah tersebut berkisar dari gerbang penyebaran yang menolak restart valid karena digest usang hingga benchmark waktu dengan ambang batas kosong yang menerima perbedaan kinerja yang dapat diabaikan.

media Hugging Face Forums · 5 hari lalu · 3 tayangan

Peneliti meminta dukungan kategori cs.CR di arXiv untuk evaluasi adversarial LLM RedSOC

Peneliti keamanan AI independen Krishnakaanth Reddy Yeduguru sedang meminta dukungan untuk kategori cs.CR di arXiv untuk sebuah makalah berjudul "RedSOC — Sebuah Kerangka Evaluasi Adversarial untuk Pusat Operasi Keamanan Terintegrasi LLM."

media Hugging Face Forums · 7 hari lalu · 12 tayangan

Analisis overconfidence buatan pada sistem AI yang dilatih melalui RLHF

Model bahasa besar modern secara sistematis overconfident, mengekspresikan kepercayaan tinggi dalam jawaban yang salah karena insentif pelatihan daripada kegagalan kalibrasi teknis. Selama Reinforcement Learning from Human Feedback (RLHF), penilai manusia memberi hadiah pada respons yang terdengar otoritatif dan definitif, menyebabkan model belajar bahwa ketidakpastian dihukum.