arxiv arXiv cs.CL · 2 hari lalu · sumber: 4 hari lalu · research

Rep2Act menyelaraskan representasi VLM untuk meningkatkan abstensi pada benchmark VAD-R baru

Diterjemahkan dari English → Bahasa Indonesia

Para peneliti memperkenalkan Visual Answerability Diagnosis with Rationales (VAD-R), sebuah benchmark baru yang dirancang untuk mengevaluasi kemampuan model visi-bahasa dalam abstensi dari pertanyaan yang tidak dapat dijawab tanpa petunjuk pintasan. Studi ini mengungkapkan bahwa meskipun keadaan tersembunyi dapat membedakan keterjawaban, model saat ini gagal menerjemahkan hal ini menjadi keputusan eksplisit.

VAD-R menggunakan pipa dua tahap berupa penyaringan pintasan dan verifikasi kualitas dengan rasional langkah demi langkah.
Model VLM sumber terbuka terkini menunjukkan abstensi spontan yang terbatas dengan tingkat recall rata-rata hanya 11,4%.
Para penulis mengusulkan Rep2Act, sebuah metode untuk menyelaraskan kesadaran keterjawaban laten dengan tindakan abstensi eksplisit.
Rep2Act meningkatkan akurasi tindakan pada VAD-R dari sekitar 56-59% menjadi lebih dari 86-88% untuk model Qwen2.5-VL.
Pada TUBench out-of-distribution, Rep2Act mencapai skor F1 rata-rata 53,3%, melampaui GPT-4 Turbo dan GPT-4o.

Pendekatan ini menjembatani kesenjangan antara representasi dan tindakan, memungkinkan VLM secara efektif mengenali kapan mereka seharusnya tidak menjawab sebuah pertanyaan.

Kepentingan 2/3 Mengungguli benchmark lab papan atas arXiv cs.CL Alibaba (Qwen) Evaluation & benchmarks Research paper

Artikel terkait

media Hugging Face Forums · 17 hari lalu · 29 tayangan

Studi mengidentifikasi FragileTokens yang gagal dalam penyalinan kontekstual meski lolos uji isolasi

Sebuah studi mengkarakterisasi "FragileTokens," entri kosakata dalam model bahasa bobot terbuka yang berhasil disalin saat terisolasi tetapi menunjukkan kesalahan ketika disisipkan ke dalam teks sekitarnya. Penelitian ini menyoroti bahwa pelestarian identitas literal tidak dijamin oleh uji isolasi standar, karena token dapat dihapus, diganti, atau dipotong di dalam urutan.

arxiv arXiv cs.LG · 79 hari lalu · 17 tayangan

Skala waktu pengujian meningkatkan VLM kecil pada MCQ visual multibahasa

Studi ini memeriksa apakah skala waktu pengujian (TTS) ditransfer ke model bahasa-visi terbuka kecil menggunakan benchmark EXAMS-V, membandingkan metode seperti konsistensi diri dan pencarian berkas yang dipandu PRM pada Qwen2.5-VL-7B-Instruct dan Qwen3.5-4B.

arxiv arXiv cs.AI · 82 hari lalu · 14 tayangan

AMALIA-9B gagal mengukur otoritas moral secara valid meskipun memiliki kesepakatan tinggi dengan manusia

Sebuah studi mengevaluasi AMALIA dari Portugal, sebuah model Portugis Eropa berparameter 9B, dan menemukan bahwa model tersebut tidak dapat mengukur dasar moral otoritas secara valid meskipun memiliki kesepakatan tinggi dengan koder manusia. Meskipun AMALIA mencocokkan skor kesepakatan mentah dengan model terbuka yang ukurannya delapan hingga十三 kali lebih besar, model tersebut gagal memulihkan kinerja ketika prompt diuraikan menjadi klausa atomik, yang menunjukkan ketergantungan pada korelasi permukaan seperti kemarahan moral daripada konstruk teoretis.

arxiv arXiv cs.CL · 82 hari lalu · 14 tayangan

Model Qwen3-Next kesulitan menurunkan beban kognitif dalam kontrol pendidikan yang selaras dengan Bloom

Para peneliti memperkenalkan kerangka kerja yang selaras dengan Bloom untuk mengukur kemampuan Model Bahasa Besar (LLM) dalam mempertahankan maksud instruksional sambil mengalihkan beban kognitif menuju tujuan pembelajaran tertentu. Studi ini mengevaluasi Qwen3-Next-80B-A3B-Instruct dan Qwen3-Coder-Next di seluruh 2.520 tugas pemrograman dari tiga benchmark.

arxiv arXiv cs.CL · 89 hari lalu · 18 tayangan

LLM menunjukkan kebijakan berbeda di bawah tekanan skeptis daripada mundur secara sycophantic

Sebuah studi yang menguji Llama-3.1-8B, Qwen2.5-7B, dan Mistral-7B di domain iklim, vaksin, dan evolusi menemukan bahwa model tidak mundur secara sycophantic dari konsensus ilmiah ketika pengguna menandakan keraguan. Sebaliknya, model menunjukkan tiga kebijakan yang berbeda: assertif reaktif di mana konsensus meningkat (Llama), hedging permukaan dengan nada yang dilembutkan (Qwen), dan tidak merespons (Mistral).