arxiv arXiv cs.CL · 3 jam lalu · research

M$^3$R-Bench memperkenalkan benchmark berbasis bukti untuk pemahaman metafora multimodal

Diterjemahkan dari English → Bahasa Indonesia

Para peneliti memperkenalkan M$^3$R-Bench, sebuah benchmark terpadu yang berisi 1.000 contoh gambar-teks dengan anotasi yang diverifikasi manusia, dirancang untuk mengevaluasi pemahaman metafora multimodal yang berdasar pada bukti. Benchmark ini menyediakan anotasi gabungan untuk kejadian metafora, pemetaan Target-Sumber, sentimen, dan penjelasan bertahap berdasarkan Teori Metafora Konseptual.

M$^3$R-Bench mengevaluasi model dalam penalaran lintas modal dengan memerlukan identifikasi bukti, pembentukan pemetaan, dan inferensi sentimen.
Evaluasi mengungkapkan bahwa model-model yang ada sering mengabaikan bukti visual dan mengandalkan petunjuk teks yang dangkal, sehingga menyingkap ketidaksesuaian pemetaan bukti lintas modal.
Untuk mengatasi hal ini, para penulis mengusulkan M$^3$R-Reasoner, yang menggabungkan pengawasan penalaran berbasis kurikulum dengan pembelajaran penguatan yang sadar tugas.
M$^3$R-Reasoner dengan 8 miliar parameter melebihi MLLM komersial yang lebih besar dan meningkatkan skor Justifikasi Bukti Visual dan Sentimen sebesar 28,45 dan 30,11 poin dibandingkan GPT-5.5.

Benchmark ini menyoroti kesulitan dalam menilai apakah model membentuk pemetaan yang berdasar pada petunjuk visual dan teks, sementara reasoner yang diusulkan menunjukkan keselarasan yang lebih baik dengan interpretasi metafora.

Kepentingan 2/3 Mengungguli benchmark lab papan atas arXiv cs.CL Evaluation & benchmarks Research paper

Artikel terkait

arxiv arXiv cs.CL · 10 hari lalu

Kerangka kerja Zing meningkatkan kecerdasan sosial LLM melalui benchmark SoMBench dan penjangkaran Actio

Laporan ini memperkenalkan Zing, sebuah kerangka kerja terintegrasi yang dirancang untuk meningkatkan kecerdasan sosial model bahasa besar dengan mengukur, menginternalisasi, dan menjangkarkan kemampuan sosial. Para penulis menyajikan SoMBench, sebuah benchmark berbasis psikologi yang mencakup 17 dimensi sekunder dan 3.481 contoh yang diverifikasi oleh ahli, yang mengungkapkan bahwa LLM saat ini masih memiliki ruang perbaikan signifikan tanpa ada model yang mencapai kinerja hampir maksimal.

media Hugging Face Forums · 13 hari lalu · 1 tayangan

Benchmark SRRM mengungkap Qwen2.5-1.5B unggul dari 3B dalam memori konteks panjang

Seorang peneliti mencari persetujuan arXiv cs.CL untuk sebuah makalah yang memperkenalkan Simple Retrieval-Reconstruction Memory (SRRM), sebuah benchmark ringan yang dirancang untuk mengevaluasi memori konteks panjang pada Small Language Models.

arxiv arXiv cs.CL · 22 hari lalu

Penyetelan halus LLM dengan trait meningkatkan penilaian esai lintas rubrik

Para peneliti mengatasi tantangan penilaian esai otomatis ketika pendidik merevisi atau memperkenalkan rubrik baru, sebuah skenario yang dikenal sebagai generalisasi lintas-rubrik. Mereka mengusulkan kerangka kerja penyetelan halus untuk Model Bahasa Besar yang memanfaatkan representasi perantara bebas-rubrik yang disebut "trait" bersama dengan pengawasan esai target selama pelatihan.

arxiv arXiv cs.CL · 22 hari lalu

Pelacakan Gurbani Langsung: Benchmark dan Sistem Referensi untuk Subtitel Kirtan Sikh

Para penulis menyajikan sebuah benchmark dan sistem referensi untuk subtitel langsung Kirtan Sikh, yang melibatkan pembacaan nyanyian berkelanjutan dari ayat-ayat Sri Guru Granth Sahib Ji. Berbeda dengan transkripsi kosakata terbuka, tugas ini memerlukan kecocokan kata demi kata yang tepat dari kitab suci kanonik untuk menghindari kesalahan ejaan yang tidak pantas secara agama.

arxiv arXiv cs.CL · 22 hari lalu

Masalah Oracle Uji dalam Korpus Sintetis LLM-as-Judge: Hilang, Distorsi, dan Protokol Validasi

Artikel ini menyoroti kegagalan struktural dalam membangun korpus sintetis untuk studi bias LLM-as-judge, di mana parameter anggaran dekoding bersama dapat memotong jawaban halusinasi yang dihasilkan. Pemotongan ini menyebabkan runtuh lintas-bahasa sebesar 32 poin dalam akurasi pemilihan judge, yang hanya dapat dideteksi melalui inspeksi manual pada generasi mentah daripada pemeriksaan statistik agregat.