arxiv arXiv cs.CL · baru saja · research

ClinFusion: MLLM berpusat visi menetapkan rekor baru pada benchmark medis

Diterjemahkan dari English → Bahasa Indonesia

Para peneliti memperkenalkan ClinFusion, model bahasa besar multimodal berpusat visi yang dirancang untuk pemahaman medis holistik yang menyatukan analisis gambar 2D dan 3D asli. Sistem ini memanfaatkan pengode visi kaskade komposisional dengan operator Fusi Lokalitas Berkesadaran Ruang Kaskade untuk mengatasi tantangan pencitraan medis heterogen.

ClinFusion mengungguli model sumber terbuka terkemuka seperti Hulu-Med dan Lingshu pada 20 dari 24 benchmark, termasuk tanya jawab visual dan pembuatan laporan.
Model ini menunjukkan kemampuan multimodal yang unggul dibandingkan model tertutup seperti GPT-5.2 dan Gemini-3-Flash pada 13 dari 16 benchmark.
Para penulis mengusulkan MedIF-Bench untuk penilaian kepatuhan instruksi dan metode berbasis wilayah ketertarikan (region-of-interest) untuk evaluasi laporan yang didorong oleh faktualitas.
Evaluasi buta oleh radiolog bersertifikat dewan mengonfirmasi bahwa ClinFusion menghasilkan laporan dengan peringkat tertinggi, memvalidasi korelasi metrik baru berbasis RoI dengan penilaian ahli.

ClinFusion menetapkan rekor baru di seluruh benchmark medis komprehensif dan dapat diperkaya dengan penggunaan alat agentic untuk alur kerja klinis yang diperkuat pengambilan informasi.

Kepentingan 2/3 arXiv cs.CL Multimodal Research paper

Artikel terkait

lab NVIDIA Research · 8 jam lalu

Analisis AI multimodal komunikasi non-verbal di Delta Force

Peneliti menganalisis video gameplay dari game tembak-menembak kompetitif Delta Force untuk mengekstrak dan memahami komunikasi non-verbal yang muncul, seperti gestur dan pola pergerakan. Karya ini mengatasi kesenjangan dalam studi sebelumnya yang sebagian besar berfokus pada game MOBA atau koordinasi verbal di game tembak-menembak lainnya.

arxiv arXiv cs.CL · 12 hari lalu

CSSEL-P2P memungkinkan terjemahan ucapan simultan tanpa perubahan arsitektur

Artikel ini menyajikan CSSEL-P2P, sebuah pendekatan berbasis data untuk terjemahan ucapan simultan yang menghindari perubahan arsitektur yang rapuh dan kebijakan baca/tulis eksplisit yang sering diperlukan oleh sistem LLM decoder-only. Metode ini memanfaatkan potongan panjang tetap untuk dekoding streaming kumulatif dengan awalan terkunci berbasis rewind, dikombinasikan dengan target prefix-to-prefix berlabel guru dan penundaan terbatas untuk fine-tuning.

arxiv arXiv cs.CL · 12 hari lalu

Groc-PO memperkenalkan optimasi preferensi konteks terlandaskan untuk mengurangi halusinasi multimodal

Para peneliti mengusulkan Grounded Context Preference Optimization (Groc-PO), sebuah kerangka kerja yang dirancang untuk mengatasi masalah ketidakjujuran seperti halusinasi visual dan fabrikasi konten dalam Model Bahasa Besar Multimodal (MLLMs). Metode ini menangani tantangan penugasan kredit di mana Direct Preference Optimization (DPO) standar gagal menekan propagasi kesalahan dari tahap pengondisian awal dengan menerapkan pengawasan hanya pada jawaban akhir.

arxiv arXiv cs.CL · 13 hari lalu

Fusi multi-fitur interaktif meningkatkan rekonstruksi semantik dari rekaman otak non-invasif

Kerangka kerja baru mengatasi ketidakcocokan representasi dalam rekonstruksi semantik kontinu dengan menggabungkan representasi leksikal statis (W2V) dengan representasi kontekstual dinamis (GPT). Studi ini membandingkan dua pendekatan integrasi: Concatenation Naif linier dan Cross-Attention Multi-Head non-linier.

arxiv arXiv cs.CL · 13 hari lalu

Model embedding audio-bahasa gagal mengodekan konsep suara yang dinegasi

Sebuah studi mengungkapkan bahwa model embedding audio-bahasa seperti CLAP kesulitan dengan negasi, memetakan caption afirmatif dan dinegasi ke representasi yang hampir identik. Untuk mengekspos keterbatasan ini, para penulis memperkenalkan NegEval-Audio, sebuah kerangka kerja yang mengubah dataset menjadi tugas Retrieval-Neg dan Multiple-Choice Negation.