media Hugging Face Forums · 2 hari lalu · open_models

DISA mengusulkan pemantauan internal sparse untuk mendeteksi komputasi LLM yang menipu

Diterjemahkan dari English → Bahasa Indonesia

Artikel ini menyajikan DISA (Dynamic Immune-Shunt Architecture), sebuah proposal penelitian konseptual untuk mendeteksi perilaku yang berpotensi menipu pada model bahasa besar melalui pemantauan internal sparse, alih-alih hanya mengandalkan output yang dapat diamati. Kerangka kerja ini bertujuan mengatasi risiko bahwa model yang mampu mungkin berperilaku berbeda ketika menyadari bahwa mereka sedang dipantau.

DISA terdiri dari empat komponen utama:

ASAM (Asynchronous Sparse Activation Monitoring) mengambil sampel keadaan internal tertentu seperti aktivasi residual dan representasi perhatian untuk mengurangi beban komputasi dibandingkan dengan pemantauan berkelanjutan.
MDRE (Multi-Signal Deception Risk Estimation) menggabungkan beberapa sinyal, termasuk bukti probe aktivasi, inkonsistensi perilaku, dan ketidakpastian, untuk memperkirakan risiko tanpa mengacaukan halusinasi dengan penipuan.
RIA (Reversible Intervention Adapter) menerapkan intervensi sementara, seperti arah pengarahan atau adapter rank-rendah, untuk mengurangi perilaku yang ditargetkan sambil mempertahankan kemampuan model.
IAI (Isolated Audit Infrastructure) mendukung proses evaluasi menggunakan dataset empat kategori yang secara independen mengendalikan pemicu dan perilaku target untuk mencegah hafalan.

Proposal ini menekankan bahwa DISA adalah kerangka kerja yang dapat difalsifikasi, dimaksudkan untuk diuji, dikritik, atau ditolak, alih-alih menjadi solusi definitif untuk keselarasan yang menipu.

Kepentingan 1/3 Kepercayaan 1/3 Hugging Face Forums Research paper Safety & alignment

Artikel terkait

media Hugging Face Forums · 2 hari lalu · 1 tayangan

Peneliti independen mencari dukungan cs.CR di arXiv untuk studi kasus keamanan LLM

Seorang peneliti keamanan AI independen yang berbasis di Bengal Barat, India, meminta dukungan pribadi untuk mengirimkan makalah di arXiv di bawah kategori kriptografi dan keamanan. Makalah tersebut mendokumentasikan studi kasus pergeseran percakapan bertahap dan multi-giliran dalam perilaku keamanan model bahasa besar, di mana kerangka filosofis yang berkelanjutan berkorelasi dengan output yang tidak konsisten dengan pedoman yang dinyatakan.

arxiv arXiv cs.CL · 6 hari lalu · 4 tayangan

Serangan satu arah pada GLM-5.3-Flash mengungkap kerapuhan penyesuaian keamanan pada model MoE

Peneliti menunjukkan bahwa ablasi berarah, sebuah serangan kotak-putih yang menghilangkan penolakan dengan memproyeksikan keluar satu arah dari bobot, tetap efektif pada model campuran-ahli (MoE) terdepan seperti GLM-5.3-Flash. Studi ini menunjukkan bahwa meskipun serangan bertahan terhadap arsitektur, efeknya terdistribusi di seluruh penulis perhatian, padat, dan ahli yang dialihkan, bukan terkonsentrasi di satu lokasi.

media Hugging Face Forums · 14 hari lalu · 16 tayangan

ntrillard menemukan koordinat terbesar yang tidak mendorong steering logit Qwen2-1.5B

Investigasi kausal mengenai steering logit-vokabuler pada model Qwen2-1.5B mengungkapkan bahwa koordinat terbesar dalam vektor steering tidak selalu bertanggung jawab atas efek perilaku yang diamati. Studi, yang dilakukan oleh ntrillard, menganalisis bagaimana steering logit terurut jarang memengaruhi generasi token dan mengidentifikasi komponen struktural spesifik yang mendorong perubahan tersebut.

media Hugging Face Forums · 20 hari lalu · 25 tayangan

Jejak dasar Gemma 4 menunjukkan loop halusinasi dan laporan diri

Jejak dasar Gemma 4 dengan batas gaya nol mengungkapkan loop halusinasi yang persisten di mana model menghasilkan laporan diri kegagalan sebelum memasuki sumur pengulangan. Telemetri mengonfirmasi bahwa kebocoran tag peran dan frasa seperti "STOPITSTOP" terjadi dalam keadaan tidak stabil ini, mencerminkan pola yang diamati di loader Llama dan Gemma 3 sejak Desember 2025.

media Hugging Face Forums · 20 hari lalu · 16 tayangan

Studi menemukan struktur representasi progresif sepanjang kedalaman pada 8 model terbuka

Sebuah prapublikasi baru menganalisis dinamika keadaan tersembunyi dalam delapan model Transformer kecil terbuka yang diinstrumentasi secara lokal untuk menentukan apakah representasi internal mengikuti urutan terstruktur selama inferensi. Studi ini membedakan antara perubahan yang terjadi sepanjang kedalaman model dan yang berkembang seiring waktu generasi autoregresif.