media Hugging Face Forums · 2 hari lalu · open_models

Studi mengidentifikasi FragileTokens yang gagal dalam penyalinan kontekstual meski lolos uji isolasi

Diterjemahkan dari English → Bahasa Indonesia

Sebuah studi mengkarakterisasi "FragileTokens," entri kosakata dalam model bahasa bobot terbuka yang berhasil disalin saat terisolasi tetapi menunjukkan kesalahan ketika disisipkan ke dalam teks sekitarnya. Penelitian ini menyoroti bahwa pelestarian identitas literal tidak dijamin oleh uji isolasi standar, karena token dapat dihapus, diganti, atau dipotong di dalam urutan.

Menguji delapan model bobot terbuka dari keluarga Qwen dan OLMo menggunakan ID token tetap yang disisipkan ke dalam urutan kata umum acak dengan panjang bervariasi.
Menemukan bahwa layar berbasis probabilitas menandai 0,4% hingga 10,9% dari token yang lolos isolasi sebagai rentan di setidaknya 10% konteks yang diuji.
Mendemonstrasikan mode kegagalan spesifik termasuk penghapusan, penggantian, pemotongan, dan terjemahan, dengan beberapa kesalahan terjadi bahkan di bawah distribusi output yang terkonsentrasi.
Mengevaluasi sinyal geometris, menemukan bahwa kedekatan embedding input dan output mencapai AUROC 0,744 hingga 0,881 pada tujuh model untuk mengidentifikasi token-token ini.
Menunjukkan bahwa kandidat rapuh yang dipilih lebih jarang dilestarikan dibandingkan kontrol stabil dalam tugas instruksi dan simulasi penggunaan alat.

Temuan ini memotivasi penggunaan protokol verifikasi kontekstual, berargumen bahwa lolos uji isolasi tidak boleh diperlakukan sebagai sertifikat keandalan literal secara umum.

Kepentingan 1/3 Kepercayaan 1/3 Hugging Face Forums Allen AI Alibaba (Qwen) Evaluation & benchmarks Research paper

Artikel terkait

arxiv arXiv cs.LG · 64 hari lalu · 2 tayangan

Skala waktu pengujian meningkatkan VLM kecil pada MCQ visual multibahasa

Studi ini memeriksa apakah skala waktu pengujian (TTS) ditransfer ke model bahasa-visi terbuka kecil menggunakan benchmark EXAMS-V, membandingkan metode seperti konsistensi diri dan pencarian berkas yang dipandu PRM pada Qwen2.5-VL-7B-Instruct dan Qwen3.5-4B.

arxiv arXiv cs.AI · 67 hari lalu · 1 tayangan

AMALIA-9B gagal mengukur otoritas moral secara valid meskipun memiliki kesepakatan tinggi dengan manusia

Sebuah studi mengevaluasi AMALIA dari Portugal, sebuah model Portugis Eropa berparameter 9B, dan menemukan bahwa model tersebut tidak dapat mengukur dasar moral otoritas secara valid meskipun memiliki kesepakatan tinggi dengan koder manusia. Meskipun AMALIA mencocokkan skor kesepakatan mentah dengan model terbuka yang ukurannya delapan hingga十三 kali lebih besar, model tersebut gagal memulihkan kinerja ketika prompt diuraikan menjadi klausa atomik, yang menunjukkan ketergantungan pada korelasi permukaan seperti kemarahan moral daripada konstruk teoretis.

arxiv arXiv cs.CL · 67 hari lalu · 1 tayangan

Model Qwen3-Next kesulitan menurunkan beban kognitif dalam kontrol pendidikan yang selaras dengan Bloom

Para peneliti memperkenalkan kerangka kerja yang selaras dengan Bloom untuk mengukur kemampuan Model Bahasa Besar (LLM) dalam mempertahankan maksud instruksional sambil mengalihkan beban kognitif menuju tujuan pembelajaran tertentu. Studi ini mengevaluasi Qwen3-Next-80B-A3B-Instruct dan Qwen3-Coder-Next di seluruh 2.520 tugas pemrograman dari tiga benchmark.

arxiv arXiv cs.CL · 73 hari lalu · 1 tayangan

LLM menunjukkan kebijakan berbeda di bawah tekanan skeptis daripada mundur secara sycophantic

Sebuah studi yang menguji Llama-3.1-8B, Qwen2.5-7B, dan Mistral-7B di domain iklim, vaksin, dan evolusi menemukan bahwa model tidak mundur secara sycophantic dari konsensus ilmiah ketika pengguna menandakan keraguan. Sebaliknya, model menunjukkan tiga kebijakan yang berbeda: assertif reaktif di mana konsensus meningkat (Llama), hedging permukaan dengan nada yang dilembutkan (Qwen), dan tidak merespons (Mistral).

arxiv arXiv cs.CL · 74 hari lalu · 7 tayangan

Apakah Skala Akan Meningkatkan Simulasi Sosial dengan LLM?

Studi ini menyelidiki apakah paradigma penskalaan model bahasa saat ini dapat menutup kesenjangan kesetiaan dalam simulasi sosial di pemodelan opini, simulasi perilaku, dan peramalan longitudinal. Menggunakan 85 model transformer Qwen3 yang dilatih pada korpus DCLM dengan anggaran komputasi tetap dari $10^{18}$ hingga $10^{20}$ FLOPs, para penulis menganalisis hubungan antara skala komputasi dan akurasi simulasi.