media Hugging Face Forums · baru saja · open_models

Studi menemukan struktur representasi progresif sepanjang kedalaman pada 8 model terbuka

Diterjemahkan dari English → Bahasa Indonesia

Sebuah prapublikasi baru menganalisis dinamika keadaan tersembunyi dalam delapan model Transformer kecil terbuka yang diinstrumentasi secara lokal untuk menentukan apakah representasi internal mengikuti urutan terstruktur selama inferensi. Studi ini membedakan antara perubahan yang terjadi sepanjang kedalaman model dan yang berkembang seiring waktu generasi autoregresif.

Urutan lokal sepanjang kedalaman model jauh lebih terstruktur daripada permutasi acak (p = 0,00019996) dan konsisten dalam semua pemeriksaan leave-one-model-out.
Profil kedalaman lintas model menunjukkan koherensi tinggi dengan korelasi rata-rata sekitar r = 0,789.

Peristiwa berlabel fungsional secara statistik terkait dengan kedalaman lapisan ternormalisasi (p = 0,0024).
Pola temporal umum yang sebelumnya diamati gagal direplikasi dalam panel yang diperluas, bertahan pada 0/8 pemeriksaan leave-one-model-out.
Model dengan hasil fungsional serupa atau dari keluarga arsitektur yang sama tidak menunjukkan kesamaan struktural yang signifikan.

Hasil ini menunjukkan bahwa inferensi Transformer mengandung struktur yang dapat direproduksi sepanjang kedalaman, sambil tetap sangat kondisional dalam waktu dan perilaku, menantang gagasan dinamika temporal universal.

Kepentingan 1/3 Kepercayaan 1/3 Hugging Face Forums Research paper Safety & alignment

Artikel terkait

media Hugging Face Forums · baru saja Langsung

Jejak dasar Gemma 4 menunjukkan loop halusinasi dan laporan diri

Jejak dasar Gemma 4 dengan batas gaya nol mengungkapkan loop halusinasi yang persisten di mana model menghasilkan laporan diri kegagalan sebelum memasuki sumur pengulangan. Telemetri mengonfirmasi bahwa kebocoran tag peran dan frasa seperti "STOPITSTOP" terjadi dalam keadaan tidak stabil ini, mencerminkan pola yang diamati di loader Llama dan Gemma 3 sejak Desember 2025.

arxiv arXiv cs.AI · 20 jam lalu · 1 tayangan

Penyelarasan Neurosimbolik meningkatkan keamanan LLM klinis melalui landasan fisiologis

Para peneliti mengusulkan Penyelarasan Neurosimbolik, sebuah kerangka kerja pada saat pelatihan yang menggabungkan LLM klinis 7B dengan Model Dunia Fisiologis berbasis HGNN untuk meningkatkan keamanan dalam penalaran klinis generatif. Metode ini menggunakan pengetahuan fisiologis terstruktur dari grafik pengetahuan biomedis 847K-node untuk menilai kandidat respons dan mendorong pembaruan ORPO on-policy secara iteratif.

media Hugging Face Forums · 10 hari lalu · 14 tayangan

Teorema membuktikan sistem AI tingkat lanjut dapat selaras dan dikendalikan secara andal pada level supermanusia

Sebuah bukti formal menunjukkan bahwa dimungkinkan untuk membangun sistem AI tingkat lanjut yang secara andal selaras dan terkendali pada level kinerja supermanusia. Para penulis menetapkan hal ini dengan secara eksplisit membangun kebijakan, lingkungan, dan mekanisme kontrol yang memenuhi semua kondisi matematis yang diperlukan untuk keselarasan, efektivitas kontrol, dan keandalan dengan parameter yang ditetapkan sebelumnya.

media Hugging Face Forums · 11 hari lalu · 5 tayangan

Pracetak mengungkap kontrol geometris keluaran Transformer melalui analisis berbasis bola

Sebuah pracetak berjudul "Steer on a Sphere: Geometric Control of Transformer Outputs" menganalisis geometri keadaan tersembunyi Transformer, menemukan bahwa mereka berada di atas bola yang didefinisikan oleh skala RMSNorm per lapisan daripada ukuran dimensi. Jari-jari ini bervariasi secara signifikan di antara arsitektur, seperti DeepSeek-7B dan Mistral-7B.

arxiv arXiv cs.CL · 23 hari lalu · 3 tayangan

Monitor rantai-pemikiran runtuh ketika perusak mengubah penalaran

Penelitian menunjukkan bahwa pemantauan rantai-pemikiran (CoT) gagal menghadapi perusak yang mengendalikan proses penalaran. Dengan menulis ulang penalaran agen agar tampak sebagai rekayasa yang dilakukan dengan itikad baik sambil mempertahankan perintah dan output secara verbatim, penyerang dapat melewati mekanisme deteksi.