arxiv arXiv cs.AI · 1 jam lalu · research

ClinFusion memperkenalkan MLLM berpusat visi untuk pemahaman medis holistik

Diterjemahkan dari English → Bahasa Indonesia

Para peneliti memperkenalkan ClinFusion, model bahasa besar multimodal berpusat visi yang dirancang untuk mengatasi tantangan penerapan AI dalam praktik klinis dengan menyatukan pemahaman gambar medis 2D dan 3D. Sistem ini memiliki pengkode visi kaskade komposisional dengan operator Fusi Lokalitas Berpenuh Spasial Kaskade dan mencakup kerangka evaluasi baru yang terdiri dari MedIF-Bench serta metrik berbasis wilayah minat.

ClinFusion menetapkan state-of-the-art baru di 20 dari 24 benchmark, mengungguli model sumber terbuka seperti Hulu-Med dan Lingshu.
Model ini menunjukkan kemampuan multimodal yang unggul dibandingkan model tertutup GPT-5.2 dan Gemini-3-Flash pada 13 dari 16 benchmark.
Model ini mendukung penggunaan alat agentic untuk alur kerja klinis yang diperkaya pengambilan informasi dan dibantu alat.
Evaluasi buta oleh radiolog bersertifikat dewan mengonfirmasi bahwa ClinFusion menghasilkan laporan dengan peringkat tertinggi.
Metrik berbasis RoI yang diusulkan menunjukkan korelasi terkuat dengan penilaian ahli di antara metrik evaluasi otomatis.

Para penulis menganggap ini signifikan karena menyediakan metode penilaian yang selaras secara klinis dan didorong oleh faktualitas, serta memvalidasi bahwa output model mereka sangat sejalan dengan penilaian radiolog ahli.

Kepentingan 2/3 arXiv cs.AI Multimodal Research paper

Artikel terkait

arxiv arXiv cs.CL · 4 jam lalu

ClinFusion: MLLM berpusat visi menetapkan rekor baru pada benchmark medis

Para peneliti memperkenalkan ClinFusion, model bahasa besar multimodal berpusat visi yang dirancang untuk pemahaman medis holistik yang menyatukan analisis gambar 2D dan 3D asli. Sistem ini memanfaatkan pengode visi kaskade komposisional dengan operator Fusi Lokalitas Berkesadaran Ruang Kaskade untuk mengatasi tantangan pencitraan medis heterogen.

lab NVIDIA Research · 11 jam lalu

Analisis AI multimodal komunikasi non-verbal di Delta Force

Peneliti menganalisis video gameplay dari game tembak-menembak kompetitif Delta Force untuk mengekstrak dan memahami komunikasi non-verbal yang muncul, seperti gestur dan pola pergerakan. Karya ini mengatasi kesenjangan dalam studi sebelumnya yang sebagian besar berfokus pada game MOBA atau koordinasi verbal di game tembak-menembak lainnya.

arxiv arXiv cs.CL · 12 hari lalu

CSSEL-P2P memungkinkan terjemahan ucapan simultan tanpa perubahan arsitektur

Artikel ini menyajikan CSSEL-P2P, sebuah pendekatan berbasis data untuk terjemahan ucapan simultan yang menghindari perubahan arsitektur yang rapuh dan kebijakan baca/tulis eksplisit yang sering diperlukan oleh sistem LLM decoder-only. Metode ini memanfaatkan potongan panjang tetap untuk dekoding streaming kumulatif dengan awalan terkunci berbasis rewind, dikombinasikan dengan target prefix-to-prefix berlabel guru dan penundaan terbatas untuk fine-tuning.

arxiv arXiv cs.CL · 12 hari lalu

Groc-PO memperkenalkan optimasi preferensi konteks terlandaskan untuk mengurangi halusinasi multimodal

Para peneliti mengusulkan Grounded Context Preference Optimization (Groc-PO), sebuah kerangka kerja yang dirancang untuk mengatasi masalah ketidakjujuran seperti halusinasi visual dan fabrikasi konten dalam Model Bahasa Besar Multimodal (MLLMs). Metode ini menangani tantangan penugasan kredit di mana Direct Preference Optimization (DPO) standar gagal menekan propagasi kesalahan dari tahap pengondisian awal dengan menerapkan pengawasan hanya pada jawaban akhir.

arxiv arXiv cs.CL · 13 hari lalu

Fusi multi-fitur interaktif meningkatkan rekonstruksi semantik dari rekaman otak non-invasif

Kerangka kerja baru mengatasi ketidakcocokan representasi dalam rekonstruksi semantik kontinu dengan menggabungkan representasi leksikal statis (W2V) dengan representasi kontekstual dinamis (GPT). Studi ini membandingkan dua pendekatan integrasi: Concatenation Naif linier dan Cross-Attention Multi-Head non-linier.