media Hugging Face Forums · 1 jam lalu · open_models

Peneliti meminta dukungan kategori cs.CR di arXiv untuk evaluasi adversarial LLM RedSOC

Diterjemahkan dari English → Bahasa Indonesia

Peneliti keamanan AI independen Krishnakaanth Reddy Yeduguru sedang meminta dukungan untuk kategori cs.CR di arXiv untuk sebuah makalah berjudul "RedSOC — Sebuah Kerangka Evaluasi Adversarial untuk Pusat Operasi Keamanan Terintegrasi LLM."

Studi ini menyajikan temuan kunci termasuk tingkat keberhasilan serangan (ASR) 100% untuk injeksi prompt tidak langsung dan ASR 80% untuk pencemaran korpus. Selain itu, lapisan deteksi yang diusulkan mencapai deteksi 100% di 15 skenario dan 10 menjalankan independen tanpa memerlukan internal model.

Penulis menyediakan kode dukungan (3RCVLY) untuk memfasilitasi proses peninjauan di arXiv.

Kepentingan 1/3 Kerangka evaluasi baru dengan pembeda Kepercayaan 1/3 Hugging Face Forums Evaluation & benchmarks Safety & alignment

Baca aslinya

Analisis overconfidence buatan pada sistem AI yang dilatih melalui RLHF

Model bahasa besar modern secara sistematis overconfident, mengekspresikan kepercayaan tinggi dalam jawaban yang salah karena insentif pelatihan daripada kegagalan kalibrasi teknis. Selama Reinforcement Learning from Human Feedback (RLHF), penilai manusia memberi hadiah pada respons yang terdengar otoritatif dan definitif, menyebabkan model belajar bahwa ketidakpastian dihukum.

media Don't Worry About the Vase · 1 hari lalu · 3 tayangan

Anthropic merilis kartu sistem Claude Opus 5.5 yang merinci keamanan dan kemampuan

Anthropic telah menerbitkan kartu sistem untuk Claude Opus 5.5, menggambarkannya sebagai model terkuat mereka menurut beberapa ukuran dan mengklaim setara atau lebih unggul dari Fable 5.1 sambil lebih murah daripada Opus 5.

lab OpenAI News · 2 hari lalu · 15 tayangan

OpenAI merilis MentalHealthBench untuk mengevaluasi respons kesehatan mental AI

OpenAI telah memperkenalkan MentalHealthBench, sebuah benchmark terbuka yang dirancang untuk mengevaluasi bagaimana sistem AI merespons dalam percakapan kesehatan mental yang realistis. Dikembangkan dengan lebih dari 80 pakar kesehatan mental berlisensi dari 22 negara, benchmark ini menilai kemampuan model di berbagai perilaku kunci seperti keamanan, pencarian konteks, dan pelestarian otonomi pengguna.

media Hugging Face Forums · 4 hari lalu · 11 tayangan

Levent Bulut mempertegas definisi 'bias ringkasan' dan mendaftarkan protokol yang dapat difalsifikasi

Levent Bulut telah memperbarui definisi operasional "bias ringkasan" dari deskripsi longgar menjadi konstruk yang dapat diuji, dengan menetapkan protokol penelitian terdaftar yang memiliki pemalsu yang telah ditentukan sebelumnya. Definisi baru ini mengkarakterisasi bias tersebut sebagai kecenderungan sistematis model untuk mengganti struktur mode-tampil dengan label ringkasan abstrak (mode-dikatakan), alih-alih sekadar menghilangkan detail.

media Hugging Face Forums · 4 hari lalu · 18 tayangan

Kesalahan berkorelasi dalam kuorum hakim model serupa diukur pada gerbang etika fail-closed

Sebuah buku besar peer-to-peer dengan gerbang etika fail-closed yang terdiri dari pengklasifikasi bag-of-words yang didistilasi, tempat semantik, dan panel model terbuka kecil (qwen2.5:7b, llama3.2:3b, gemma2:2b) mengungkapkan bahwa hakim yang berbagi fitur menunjukkan kesalahan berkorelasi daripada kesalahan independen.