github llama.cpp · 1 jam lalu · inference

llama.cpp b10218 menambahkan dukungan downsample minicpmv46

Diterjemahkan dari English → Bahasa Indonesia

Proyek llama.cpp merilis build b10218, yang mencakup penambahan dukungan downsample minicpmv46 melalui pull request #25993. Pembaruan ini memperkenalkan merger VIT 4x ignore dan menempatkan mode downsample di dalam format GGUF.

Menambahkan fungsionalitas downsample minicpmv46 ke mtmd_image_preprocessor_llava_uhd.
Mengintegrasikan mode downsample langsung ke dalam struktur GGUF.
Memasukkan merger VIT 4x ignore ke dalam proses konversi.

Rilis ini menyediakan biner untuk macOS, Linux, Windows, Android, dan openEuler di berbagai akselerator perangkat keras termasuk CUDA, ROCm, Vulkan, dan OpenVINO.

Kepentingan 1/3 Kepercayaan 1/3 llama.cpp Inference efficiency Multimodal

Baca aslinya

Microsoft merilis Mage-VL, model multimodal streaming asli codec

Microsoft telah merilis Mage-VL, model dasar multimodal 4B-parameter yang efisien untuk pemahaman gambar dan video yang menggunakan pendekatan asli codec untuk menyederhanakan pemrosesan visual. Sistem ini memisahkan aliran video menjadi frame jangkar (I) dan frame prediksi (P), hanya mempertahankan patch di mana codec mengalokasikan bit untuk mengurangi konsumsi token visual lebih dari 75%.

github llama.cpp · 6 hari lalu

llama.cpp b10142 menambahkan dukungan awal visi MiniMax-M3

Proyek llama.cpp merilis build b10142, yang memperkenalkan dukungan visi awal untuk model MiniMax-M3. Pembaruan ini mengimplementasikan port teks-saja yang menggunakan kembali komponen yang ada dari MiniMax-M2, termasuk GQA dengan QK-norm per-kepala dan rotary parsial, ahli gaya DeepSeek-V3, dan aktivasi swigluoai.

media r/LocalLLaMA · 17 hari lalu · 2 tayangan

OvisOCR2 memimpin OmniDocBench sebagai model parsing dokumen end-to-end pertama

ATH-MaaS merilis OvisOCR2, sebuah model visi-bahasa 0.8B yang dipost-training dari Qwen3.5-0.8B, yang menjadi model end-to-end pertama yang memimpin papan peringkat OmniDocBench dengan skor 96.58 pada v1.6.

arxiv arXiv cs.AI · 19 hari lalu

Jumlah token keluaran, bukan pemrosesan visual, mendominasi energi dalam inferensi VLM edge

Profil energi sistematis dari inferensi Vision-Language Model (VLM) di perangkat melintasi lima model dan dua platform perangkat keras mengungkapkan bahwa hambatan energi utama adalah generasi keluaran daripada persepsi visual. Studi ini membantah asumsi umum bahwa mengurangi token visual adalah strategi efisiensi yang paling efektif, menunjukkan sebaliknya bahwa mengendalikan panjang keluaran sangat penting untuk penghematan daya.

arxiv arXiv cs.CL · 25 hari lalu

OpenGlass memperkenalkan arsitektur pemisahan sensing-komputasi untuk bantuan visual lokal yang digerakkan oleh MLLM

Para peneliti mempersembahkan OpenGlass, sebuah sistem open-source yang memisahkan sensing dan komputasi untuk memberikan bantuan visual multimodal berlatensi rendah bagi pengguna tunanetra dan low-vision. Arsitektur ini menggunakan unit kacamata berbasis ESP32 untuk menangkap konteks visual sementara perangkat konsumen terdekat melakukan inferensi MLLM lokal, menjaga data mentah secara default pada perangkat yang dikontrol pengguna.