arxiv arXiv cs.CL · 9 jam lalu · research

Serangan satu arah pada GLM-5.3-Flash mengungkap kerapuhan penyesuaian keamanan pada model MoE

Diterjemahkan dari English → Bahasa Indonesia

Peneliti menunjukkan bahwa ablasi berarah, sebuah serangan kotak-putih yang menghilangkan penolakan dengan memproyeksikan keluar satu arah dari bobot, tetap efektif pada model campuran-ahli (MoE) terdepan seperti GLM-5.3-Flash. Studi ini menunjukkan bahwa meskipun serangan bertahan terhadap arsitektur, efeknya terdistribusi di seluruh penulis perhatian, padat, dan ahli yang dialihkan, bukan terkonsentrasi di satu lokasi.

Mengedit penulis perhatian, padat, dan ahli yang dialihkan secara individual menghilangkan 0.039, 0.016, dan 0.148 dari penolakan masing-masing.
Intervensi gabungan pada ketiga komponen menghilangkan 0.776 penolakan, dengan 74% efek hanya ada di bawah pengeditan gabungan ini.
Pencocokan nama modul konvensional hanya menyumbang 0.066 dari total efek, menyebabkan serangan gagal secara diam-diam jika diterapkan secara sempit.
Metode ini mencapai pengurangan 41-89 poin persentase di tujuh benchmark berbahaya tanpa perubahan terdeteksi dalam kemampuan.
Residu yang terkonsentrasi pada kategori bertahan dari pengeditan kekerasan, konten seksual, dan kebencian, meninggalkan penolakan terukur di setiap peringkat dari 1 hingga 12.

Temuan ini menunjukkan bahwa penyesuaian keamanan pada model MoE lebih rapuh daripada yang sebelumnya dikira, karena komponen kritis untuk penolakan tersebar dan tidak mudah diidentifikasi oleh metode inspeksi standar.

Kepentingan 2/3 arXiv cs.CL Zhipu AI Research paper Safety & alignment

Artikel terkait

media Hugging Face Forums · 9 hari lalu · 11 tayangan

ntrillard menemukan koordinat terbesar yang tidak mendorong steering logit Qwen2-1.5B

Investigasi kausal mengenai steering logit-vokabuler pada model Qwen2-1.5B mengungkapkan bahwa koordinat terbesar dalam vektor steering tidak selalu bertanggung jawab atas efek perilaku yang diamati. Studi, yang dilakukan oleh ntrillard, menganalisis bagaimana steering logit terurut jarang memengaruhi generasi token dan mengidentifikasi komponen struktural spesifik yang mendorong perubahan tersebut.

arxiv arXiv cs.CL · 9 hari lalu · 16 tayangan

WebWorld menggunakan browser sebagai model dunia untuk meningkatkan diri dalam kode web

Para penulis menyajikan WebWorld, sebuah antarmuka yang memungkinkan Model Visual-Bahasa (VLM) berinteraksi secara otonom dengan browser sebagai model dunia deterministik untuk kode web. Pendekatan ini mengatasi cacat struktural dalam peningkatan diri berbasis VLM di mana model menilai perbaikannya sendiri dengan memperkenalkan pihak lawan yang tidak dapat dibohongi.

media Hugging Face Forums · 15 hari lalu · 19 tayangan

Jejak dasar Gemma 4 menunjukkan loop halusinasi dan laporan diri

Jejak dasar Gemma 4 dengan batas gaya nol mengungkapkan loop halusinasi yang persisten di mana model menghasilkan laporan diri kegagalan sebelum memasuki sumur pengulangan. Telemetri mengonfirmasi bahwa kebocoran tag peran dan frasa seperti "STOPITSTOP" terjadi dalam keadaan tidak stabil ini, mencerminkan pola yang diamati di loader Llama dan Gemma 3 sejak Desember 2025.

media Hugging Face Forums · 15 hari lalu · 14 tayangan

Studi menemukan struktur representasi progresif sepanjang kedalaman pada 8 model terbuka

Sebuah prapublikasi baru menganalisis dinamika keadaan tersembunyi dalam delapan model Transformer kecil terbuka yang diinstrumentasi secara lokal untuk menentukan apakah representasi internal mengikuti urutan terstruktur selama inferensi. Studi ini membedakan antara perubahan yang terjadi sepanjang kedalaman model dan yang berkembang seiring waktu generasi autoregresif.

arxiv arXiv cs.AI · 15 hari lalu · 15 tayangan

Penyelarasan Neurosimbolik meningkatkan keamanan LLM klinis melalui landasan fisiologis

Para peneliti mengusulkan Penyelarasan Neurosimbolik, sebuah kerangka kerja pada saat pelatihan yang menggabungkan LLM klinis 7B dengan Model Dunia Fisiologis berbasis HGNN untuk meningkatkan keamanan dalam penalaran klinis generatif. Metode ini menggunakan pengetahuan fisiologis terstruktur dari grafik pengetahuan biomedis 847K-node untuk menilai kandidat respons dan mendorong pembaruan ORPO on-policy secara iteratif.