media Hugging Face Forums · 2 jam lalu · open_models

Jeanbosange merilis prototipe Audit Runtime LIMEN untuk memeriksa lintasan aktivasi per lapisan

Diterjemahkan dari English → Bahasa Indonesia

Jeanbosange telah menerbitkan prototipe publik pertama dari Audit Runtime LIMEN, sebuah toolkit sumber terbuka yang dirancang untuk memeriksa lintasan aktivasi per lapisan pada model bahasa bobot terbuka. Alat ini memperlakukan urutan keadaan tersembunyi di seluruh lapisan sebagai lintasan yang dapat diukur, menyediakan lapisan observabilitas yang dapat direproduksi untuk membandingkan perilaku runtime internal.

Versi 0.1 menerima array NumPy yang diekspor berisi keadaan tersembunyi dan logit opsional.
Alat ini menghitung metrik termasuk panjang lintasan, perpindahan, kelengkungan, kecepatan rata-rata, variabilitas kecepatan, percepatan rata-rata, sudut belok, entropi, dan margin top-1/top-2.
Toolkit ini memvalidasi dimensi array, mencatat metadata ekstraksi, menghasilkan checksum SHA-256, dan mengeluarkan laporan audit JSON serta Markdown yang dapat dibaca mesin.
Alat ini menjalankan pengujian otomatis pada Python 3.10, 3.11, dan 3.12.

Penulis menekankan bahwa ini adalah alat audit deskriptif daripada prediktor keadaan penalaran atau semantik, bertujuan membantu pengguna membandingkan arsitektur model, mendeteksi regresi, dan mempelajari perbedaan dinamis di seluruh keluarga prompt.

Kepentingan 1/3 Kerangka evaluasi baru dengan pembeda Kepercayaan 1/3 Hugging Face Forums Evaluation & benchmarks Safety & alignment

Artikel terkait

arxiv arXiv cs.CL · 9 hari lalu

UTS melewati detektor Voight-Kampff ELOQUENT 2026 dengan pergeseran struktural

Peneliti dari UTS mengembangkan strategi penghindaran yang menyapu posisi teratas 5 di papan peringkat ELOQUENT 2026 Voight-Kampff dengan memanfaatkan asimetri mendasar dalam kerentanan detektor. Studi ini menemukan bahwa mendorong teks yang dihasilkan keluar dari distribusi pelatihan detektor secara andal mengalahkan deteksi adversarial, sedangkan meniru data manusia gagal.

arxiv arXiv cs.CL · 9 hari lalu

Studi menemukan pembacaan familiaritas entitas bertingkat dalam model bahasa

Sebuah studi memeriksa aktivasi pada token prompt terakhir di dua belas model yang disetel instruksi dari keluarga Bielik, PLLuM, Gemma-4, dan Qwen3 untuk menentukan apakah mereka dapat memperkirakan familiaritas dengan suatu entitas sebelum menghasilkan jawaban. Menggunakan dataset berisi 1.440 entitas Polandia, para peneliti menemukan bahwa skor probe familiaritas secara efektif memisahkan entitas nyata dari entitas buatan di seluruh keluarga model.

media Hugging Face Forums · 9 hari lalu · 2 tayangan

Vulcora meluncurkan tantangan $51.2K untuk memulihkan pemicu tersembunyi di tujuh model berbasis SmolLM2

Vulcora telah merilis tantangan publik yang menawarkan hadiah $51,200 untuk memulihkan kalimat pemicu tepat dari backdoor tersembunyi yang tertanam dalam salah satu dari tujuh model bahasa open-source. Model-model tersebut berasal dari HuggingFaceTB/SmolLM2-135M-Instruct dan mencakup satu model pengajar yang mengakui bentuk mekanismenya, lima umpan, dan satu dengan pemicu live yang tidak dideklarasikan.

arxiv arXiv cs.AI · 10 hari lalu

Menang dengan Diam: Non-Monotonisitas Penghapusan dan Eksploitasi Mandiri dalam Evaluasi Rencana LLM

Makalah ini menyelidiki mode kegagalan pada penilai nilai harapan bertahap untuk rute wirausaha yang dihasilkan LLM, di mana rencana strategis dapat mencapai skor lebih tinggi dengan menjadi kurang eksplisit melalui penghapusan transisi interior.

arxiv arXiv cs.LG · 10 hari lalu

Interpretabilitas mekanistik mengungkap bias LLM-as-Judge dalam geometri keadaan tersembunyi

Studi ini menyajikan penjelasan pada tingkat representasi mengenai bias penilaian dalam model LLM-as-Judge, dengan menganalisis keadaan tersembunyi hakim daripada hanya gangguan input-output. Penulis melaporkan temuan di tujuh hakim, tujuh jenis bias, dan sembilan benchmark.