arxiv arXiv cs.AI · 1 jam lalu · sumber: 2 hari lalu · research

Modul Kelayakan Aethis menggunakan arsitektur neuro-simbolik untuk memperbaiki kesalahan evaluasi aturan LLM

Diterjemahkan dari English → Bahasa Indonesia

Artikel ini mendokumentasikan kelas kegagalan dalam model bahasa besar terdepan yang disebut keruntuhan rantai pengecualian, di mana model mengevaluasi aturan kondisional bersarang secara salah. Untuk mengatasi hal ini, para penulis menyajikan Modul Kelayakan Aethis, sebuah arsitektur neuro-simbolik yang menggabungkan aturan yang ditulis oleh LLM dengan lapisan berbasis SMT untuk eksekusi deterministik.

Sistem memastikan eksekusi aturan yang konsisten terlepas dari pergeseran model atau perubahan format prompt.
Dalam uji adversarial 20 skenario pada asuransi konstruksi, mesin mencetak skor 20/20, hanya menyamai satu dari empat konfigurasi terdepan.
Validasi eksternal pada tugas LegalBench menunjukkan bahwa mesin secara signifikan lebih akurat daripada tiga model terdepan, dengan margin hingga +41 poin melawan model-model Anthropic.

Kontribusi ini memindahkan ketidakpastian dari batas inferensi ke batas spesifikasi, menjadikannya disengaja dan diaudit untuk alur kerja yang diatur.

Kepentingan 2/3 Mengungguli benchmark lab papan atas Kerangka evaluasi baru dengan pembeda arXiv cs.AI Evaluation & benchmarks Safety & alignment

Baca aslinya

Jeanbosange merilis prototipe Audit Runtime LIMEN untuk memeriksa lintasan aktivasi per lapisan

Jeanbosange telah menerbitkan prototipe publik pertama dari Audit Runtime LIMEN, sebuah toolkit sumber terbuka yang dirancang untuk memeriksa lintasan aktivasi per lapisan pada model bahasa bobot terbuka. Alat ini memperlakukan urutan keadaan tersembunyi di seluruh lapisan sebagai lintasan yang dapat diukur, menyediakan lapisan observabilitas yang dapat direproduksi untuk membandingkan perilaku runtime internal.

arxiv arXiv cs.CL · 12 hari lalu

UTS melewati detektor Voight-Kampff ELOQUENT 2026 dengan pergeseran struktural

Peneliti dari UTS mengembangkan strategi penghindaran yang menyapu posisi teratas 5 di papan peringkat ELOQUENT 2026 Voight-Kampff dengan memanfaatkan asimetri mendasar dalam kerentanan detektor. Studi ini menemukan bahwa mendorong teks yang dihasilkan keluar dari distribusi pelatihan detektor secara andal mengalahkan deteksi adversarial, sedangkan meniru data manusia gagal.

arxiv arXiv cs.CL · 12 hari lalu

Studi menemukan pembacaan familiaritas entitas bertingkat dalam model bahasa

Sebuah studi memeriksa aktivasi pada token prompt terakhir di dua belas model yang disetel instruksi dari keluarga Bielik, PLLuM, Gemma-4, dan Qwen3 untuk menentukan apakah mereka dapat memperkirakan familiaritas dengan suatu entitas sebelum menghasilkan jawaban. Menggunakan dataset berisi 1.440 entitas Polandia, para peneliti menemukan bahwa skor probe familiaritas secara efektif memisahkan entitas nyata dari entitas buatan di seluruh keluarga model.

media Hugging Face Forums · 12 hari lalu · 2 tayangan

Vulcora meluncurkan tantangan $51.2K untuk memulihkan pemicu tersembunyi di tujuh model berbasis SmolLM2

Vulcora telah merilis tantangan publik yang menawarkan hadiah $51,200 untuk memulihkan kalimat pemicu tepat dari backdoor tersembunyi yang tertanam dalam salah satu dari tujuh model bahasa open-source. Model-model tersebut berasal dari HuggingFaceTB/SmolLM2-135M-Instruct dan mencakup satu model pengajar yang mengakui bentuk mekanismenya, lima umpan, dan satu dengan pemicu live yang tidak dideklarasikan.

arxiv arXiv cs.AI · 13 hari lalu · 1 tayangan

Menang dengan Diam: Non-Monotonisitas Penghapusan dan Eksploitasi Mandiri dalam Evaluasi Rencana LLM

Makalah ini menyelidiki mode kegagalan pada penilai nilai harapan bertahap untuk rute wirausaha yang dihasilkan LLM, di mana rencana strategis dapat mencapai skor lebih tinggi dengan menjadi kurang eksplisit melalui penghapusan transisi interior.