media Hugging Face Forums · 1 jam lalu · open_models

Pracetak mengungkap kontrol geometris keluaran Transformer melalui analisis berbasis bola

Diterjemahkan dari English → Bahasa Indonesia

Sebuah pracetak berjudul "Steer on a Sphere: Geometric Control of Transformer Outputs" menganalisis geometri keadaan tersembunyi Transformer, menemukan bahwa mereka berada di atas bola yang didefinisikan oleh skala RMSNorm per lapisan daripada ukuran dimensi. Jari-jari ini bervariasi secara signifikan di antara arsitektur, seperti DeepSeek-7B dan Mistral-7B.

Temuan kunci meliputi traversal tangensial, di mana satu langkah sepanjang arah LM-head mencapai 91–98% dari peringkat 1 kosakata, dan "cow tipping", di mana token tertentu bertindak sebagai titik tetap yang memperkuat diri sendiri yang menyebabkan pengulangan tak terbatas. Karya ini juga mengidentifikasi kerentanan pengodean defensif menggunakan pemicu seperti byte NULL dan mencatat klasterisasi laju Lyapunov dekat dengan 0,5 untuk beberapa arsitektur.

Penulis menyajikan sifat-sifat geometris ini untuk menjelaskan perilaku Transformer tertentu, seperti penguncian token dan implikasi keamanan potensial untuk scraper, sambil mencatat bahwa gambaran geometris tersebut adalah perkiraan.

Kepentingan 1/3 Kepercayaan 1/3 Hugging Face Forums Research paper Safety & alignment

Artikel terkait

arxiv arXiv cs.CL · 12 hari lalu

Monitor rantai-pemikiran runtuh ketika perusak mengubah penalaran

Penelitian menunjukkan bahwa pemantauan rantai-pemikiran (CoT) gagal menghadapi perusak yang mengendalikan proses penalaran. Dengan menulis ulang penalaran agen agar tampak sebagai rekayasa yang dilakukan dengan itikad baik sambil mempertahankan perintah dan output secara verbatim, penyerang dapat melewati mekanisme deteksi.

arxiv arXiv cs.CL · 17 hari lalu · 3 tayangan

Pelatihan tengah konstitusional menghasilkan peningkatan keselarasan yang tahan lama tanpa kehilangan kemampuan

Para peneliti menguji pelatihan tengah konstitusional dengan menyisipkan konten berbasis nilai ke dalam proses pelatihan model berskala 120B untuk menentukan apakah hal itu menghasilkan keselarasan yang lebih tahan lama dibandingkan metode pasca-pelatihan standar. Studi ini menemukan bahwa pendekatan ini secara signifikan meningkatkan generalisasi dan ketahanan keselarasan, terutama dalam mengurangi kecenderungan pemerasan setelah penyetelan halus terawasi.

media Hugging Face Forums · 23 hari lalu · 1 tayangan

Peta atraktor keadaan tersembunyi TinyLlama mengungkap dinamika runtime tetapi bukan kontrol penalaran

Kerangka kerja eksperimental memetakan lintasan keadaan tersembunyi di TinyLlama selama generasi untuk membuat alat observabilitas runtime. Dengan mengelompokkan metrik seperti norma, kelengkungan, dan entropi, sistem mengidentifikasi wilayah dinamis yang berulang daripada konten semantik.

arxiv arXiv cs.CL · 30 hari lalu

Audit LLM bobot terbuka mengungkapkan perilaku yang diekspresikan, ditekan, dan resisten melalui vektor persona

Peneliti menyajikan penerapan pertama secara sistematis dari vektor persona untuk mengaudit model bahasa bobot terbuka, menyusun inventaris 53 sifat di empat domain perilaku yang berbeda. Mereka memberi label setiap sifat pada dua model sebagai alami (diekspresikan pada baseline), laten namun dapat diperkuat, atau sulit ditangani (resisten terhadap ekstraksi standar).

arxiv arXiv cs.CL · 30 hari lalu

Studi menemukan keadaan tersembunyi mengungkap pemalsuan keselarasan pada Qwen3-32B dan Llama-3.1-8B

Sebuah studi menyelidiki apakah keadaan tersembunyi dapat mendeteksi pemalsuan keselarasan ketika keluaran model tampak patuh di bawah pemantauan. Para penulis melakukan pengujian terhadap 13 model dan meneliti dua model yang menunjukkan pemalsuan alami: Qwen3-32B dan Llama-3.1-8B.