media r/LocalLLaMA · 1 jam lalu · open_models

Microsoft merilis Mage-VL, model multimodal streaming asli codec

Diterjemahkan dari English → Bahasa Indonesia

Microsoft telah merilis Mage-VL, model dasar multimodal 4B-parameter yang efisien untuk pemahaman gambar dan video yang menggunakan pendekatan asli codec untuk menyederhanakan pemrosesan visual. Sistem ini memisahkan aliran video menjadi frame jangkar (I) dan frame prediksi (P), hanya mempertahankan patch di mana codec mengalokasikan bit untuk mengurangi konsumsi token visual lebih dari 75%.

Mage-VL menggabungkan encoder visual Codec-ViT dari awal dengan tulang punggung decoder bahasa kausal Qwen3-4B.
Arsitektur ini mencapai percepatan inferensi waktu dinding hingga 3.5× dibandingkan pengambilan frame seragam sambil mempertahankan konteks spasial-temporal.
Desain proses ganda System 1 & System 2 menambahkan streaming proaktif, menggunakan gerbang kognisi ringan untuk memanggil VLM penuh hanya ketika diperlukan.
Pada benchmark video, Mage-VL meningkatkan kinerja Qwen3-VL-4B pada setiap metrik yang dilaporkan, dengan peningkatan signifikan dalam tugas yang bergantung pada lokalisasi seperti +22.5 pada QVHighlight.

Model ini menargetkan pertukaran antara penalaran offline kompleks dan persepsi streaming waktu nyata, menawarkan solusi model tunggal untuk komentar gerbang peristiwa latensi rendah.

Kepentingan 2/3 r/LocalLLaMA Microsoft Research Alibaba (Qwen) Inference efficiency Multimodal

Artikel terkait

media r/LocalLLaMA · 24 hari lalu · 2 tayangan

NVFP4 Qwen3.6-35B-A3B di Blackwell mencapai ~2000 tps dengan 30 aliran simultan

Seorang pengguna mendemonstrasikan menjalankan model Qwen3.6-35B-A3B yang dikuantisasi NVFP4 pada GPU RTX Pro 6000 Blackwell, mencapai sekitar 2000 token per detik dalam throughput agregat sambil menangani 30 aliran captioning gambar simultan. Konfigurasi ini memanfaatkan vLLM dengan backend perhatian FLASHINFER dan caching awalan untuk mengelola konkurensi tinggi. Arsitektur Mixture of Experts (MoE) hanya mengaktifkan sekitar 53-61% ahli bahkan pada tingkat konkurensi tinggi, memungkinkannya mengungguli model padat meskipun memiliki jumlah parameter yang lebih besar. Pengaturan ini membuktikan bahwa kuantisasi NVFP4 pada perangkat keras Blackwell dapat menangani beban kerja multimodal dengan paralelisme signifikan secara efisien tanpa menghabiskan VRAM.

github llama.cpp · 2 hari lalu

llama.cpp b10142 menambahkan dukungan awal visi MiniMax-M3

Proyek llama.cpp merilis build b10142, yang memperkenalkan dukungan visi awal untuk model MiniMax-M3. Pembaruan ini mengimplementasikan port teks-saja yang menggunakan kembali komponen yang ada dari MiniMax-M2, termasuk GQA dengan QK-norm per-kepala dan rotary parsial, ahli gaya DeepSeek-V3, dan aktivasi swigluoai.

media MarkTechPost · 9 hari lalu · 5 tayangan

Alibaba memamerkan Qwen3.8-Max, model multimodal 2,4T parameter

Pada 19 Juli, tim Qwen Alibaba memamerkan Qwen3.8-Max-Preview, model multimodal unggulan baru dengan 2,4 triliun parameter. Pengumuman ini disampaikan selama Konferensi AI Dunia di Shanghai, dua hari setelah Moonshot AI merilis model Kimi K3.

media MarkTechPost · 11 hari lalu · 5 tayangan

PrismML merilis Bonsai 27B, mengompresi Qwen3.6-27B ke bobot 1-bit dan ternary

PrismML telah merilis Bonsai 27B, sebuah kuantisasi bit-rendah dari model Qwen3.6-27B yang memungkinkan menjalankan model multimodal besar di laptop dan ponsel tanpa pelatihan ulang.

media r/LocalLLaMA · 13 hari lalu

Qwen3.5 122B A10B dengan UD-Q2_K_XL muat di RAM 64GB dan meningkatkan pengetahuan internal

Seorang pengguna mendemonstrasikan bahwa Qwen3.5 122B A10B yang dikuantisasi dengan UD-Q2_K_XL dapat muat ke dalam 64GB RAM sistem, menggantikan opsi terbaik sebelumnya untuk batasan tersebut.