media Hugging Face Forums · 4 hari lalu · open_models

Mahasiswa sarjana mengusulkan perubahan arsitektur pada Qwen 2.5 Omni 3B untuk menghentikan interferensi visual

Diterjemahkan dari English → Bahasa Indonesia

Seorang mahasiswa sarjana di forum Hugging Face membahas penerapan konsep dari makalah VAPO ke model Qwen 2.5 Omni 3B untuk mengatasi masalah halusinasi selama transkripsi audio dengan konteks slide.

Makalah VAPO mengidentifikasi bahwa meratakan dan menggabungkan berbagai jenis token dalam Model Bahasa Besar omnimodal menyebabkan interferensi visual, yang menghasilkan teks halusinasi dalam transkrip.
VAPO menyelesaikan ini menggunakan paradigma pembelajaran penguatan dengan 'kebijakan yang terpisah secara temporal' yang memisahkan ekstraksi prior visual dari transkripsi.
Mahasiswa tersebut bertanya apakah modifikasi arsitektur pada Qwen 2.5 Omni 3B, seperti menangkap embedding sebelum blok thinker atau mengubah blok thinker itu sendiri, dapat mencegah token visual mengganggu token audio.

Postingan ini mencari panduan teknis untuk menerapkan strategi pemisahan ini di dalam arsitektur Qwen yang ada.

Kepentingan 1/3 Kepercayaan 1/3 Hugging Face Forums Multimodal Research paper

Baca aslinya

VisCAD merilis rangkaian model dasar dengan kecerdasan CAD industri multimodal

Para peneliti mempresentasikan VisCAD, sebuah rangkaian model dasar yang dirancang untuk memberikan generalisasi luas dan kemampuan kuat untuk desain produk industri yang realistis. Rangkaian ini mengatasi tantangan generasi tingkat komponen dari berbagai input seperti render dan teks, serta generasi tingkat perakitan yang melibatkan interaksi antar komponen.

arxiv arXiv cs.AI · 49 hari lalu · 30 tayangan

SCUT meningkatkan penalaran spasial pada VLM melalui CoT terstruktur dan RL proses-supervised

Para peneliti mengusulkan SCOUT, sebuah kerangka kerja yang meningkatkan penalaran spasial Model Bahasa-Gambar dengan menggabungkan Chain-of-Thought terstruktur dengan pembelajaran penguatan reward proses multi-tujuan. Pendekatan ini mengatasi masalah penugasan kredit pada metode RL yang ada dan mengintegrasikan persepsi kedalaman untuk pemahaman 3D yang komprehensif.

lab Microsoft Research Blog · 50 hari lalu · 40 tayangan

Microsoft Research memperkenalkan CARE-X, VLM rontgen dada terpadu dengan supervisi tambahan dan pengukuran yang diperkaya alat

Microsoft Research telah memperkenalkan CARE-X, sebuah model penelitian yang dirancang untuk mengatasi kesenjangan dalam model bahasa-visi radiologi saat ini dengan menggabungkan penulisan laporan generatif dengan prediksi diagnostik yang terkali. Sistem ini menggunakan pembelajaran penguatan (DAPO) untuk memberi hadiah pada kebenaran klinis dan memadukan model Qwen3-VL-4B-Instruct dengan alat pengukuran deterministik untuk mengevaluasi kinerja pada kondisi yang memerlukan perhitungan presisi.

lab NVIDIA Research · 50 hari lalu · 31 tayangan

GenRecal mendistilasi model visi-bahasa besar ke yang lebih kecil melalui rekalsibrasi

Peneliti menyajikan GenRecal, sebuah kerangka kerja distilasi tujuan umum yang mentransfer pengetahuan dari model visi-bahasa besar (VLM) ke rekan yang lebih kecil dan lebih efisien. Metode ini mengatasi tantangan arsitektur VLM heterogen dengan menggunakan Re-calibrator untuk menyelaraskan dan mengadaptasi representasi fitur di antara berbagai jenis model.

lab NVIDIA Research · 50 hari lalu · 34 tayangan

Hide to See memperkenalkan masking prefix penalaran untuk distilasi VLM

Peneliti mengusulkan kerangka kerja distilasi pikir-jawab baru yang meningkatkan kemampuan model bahasa-visi kompak untuk memanfaatkan bukti visual dengan melakukan masking pada prefix penalaran yang menonjol. Pendekatan ini mengatasi masalah "pelupakan visual" yang umum terjadi pada jejak pikir-jawab panjang, di mana siswa kehilangan fokus pada petunjuk visual selama penalaran yang diperpanjang.