github llama.cpp · 1 jam lalu · inference

llama.cpp b10142 menambahkan dukungan awal visi MiniMax-M3

Diterjemahkan dari English → Bahasa Indonesia

Proyek llama.cpp merilis build b10142, yang memperkenalkan dukungan visi awal untuk model MiniMax-M3. Pembaruan ini mengimplementasikan port teks-saja yang menggunakan kembali komponen yang ada dari MiniMax-M2, termasuk GQA dengan QK-norm per-kepala dan rotary parsial, ahli gaya DeepSeek-V3, dan aktivasi swigluoai.

Implementasi mencakup menara visi MiniMax-M3 (mmproj + grafik clip) sambil menghapus kepala MTP dan dukungan perhatian sparse.
Optimisasi kinerja termasuk mengurai operasi CPU lambat menjadi operasi GPU/CPU untuk percepatan besar pada konteks panjang dan menulis ulang op indexer agar menjadi native CUDA.
Jalur 4-way + decode yang terpadu mengurangi jumlah node per lapisan dari ~50 menjadi ~25, memperkecil buffer komputasi sekitar 20%.
Efek terukur menunjukkan kecepatan decode meningkat dari 6.2–7.15 t/s menjadi 7.7–7.8 t/s pada setup offload ahli, dengan prefill menjadi sekitar 10% lebih cepat.

Semua GGUF yang dihasilkan sebelum perubahan ini harus dibuat ulang untuk memastikan kompatibilitas dengan arsitektur dan logika konversi baru.

Kepentingan 1/3 Kepercayaan 1/3 llama.cpp MiniMax Inference efficiency Multimodal

Artikel terkait

media r/LocalLLaMA · 12 hari lalu · 1 tayangan

OvisOCR2 memimpin OmniDocBench sebagai model parsing dokumen end-to-end pertama

ATH-MaaS merilis OvisOCR2, sebuah model visi-bahasa 0.8B yang dipost-training dari Qwen3.5-0.8B, yang menjadi model end-to-end pertama yang memimpin papan peringkat OmniDocBench dengan skor 96.58 pada v1.6.

arxiv arXiv cs.AI · 13 hari lalu

Jumlah token keluaran, bukan pemrosesan visual, mendominasi energi dalam inferensi VLM edge

Profil energi sistematis dari inferensi Vision-Language Model (VLM) di perangkat melintasi lima model dan dua platform perangkat keras mengungkapkan bahwa hambatan energi utama adalah generasi keluaran daripada persepsi visual. Studi ini membantah asumsi umum bahwa mengurangi token visual adalah strategi efisiensi yang paling efektif, menunjukkan sebaliknya bahwa mengendalikan panjang keluaran sangat penting untuk penghematan daya.

arxiv arXiv cs.CL · 20 hari lalu

OpenGlass memperkenalkan arsitektur pemisahan sensing-komputasi untuk bantuan visual lokal yang digerakkan oleh MLLM

Para peneliti mempersembahkan OpenGlass, sebuah sistem open-source yang memisahkan sensing dan komputasi untuk memberikan bantuan visual multimodal berlatensi rendah bagi pengguna tunanetra dan low-vision. Arsitektur ini menggunakan unit kacamata berbasis ESP32 untuk menangkap konteks visual sementara perangkat konsumen terdekat melakukan inferensi MLLM lokal, menjaga data mentah secara default pada perangkat yang dikontrol pengguna.

arxiv arXiv cs.AI · 20 hari lalu

VisionAId: Asisten Android offline-first dengan pengambilan objek yang dipersonalisasi

VisionAId adalah aplikasi Android offline-first yang dirancang untuk membantu penyandang tunanetra dengan mengubah smartphone komersial menjadi asisten visual real-time. Sistem ini mengintegrasikan enam model deep learning on-device yang berjalan melalui ONNX Runtime, termasuk estimasi kedalaman monokuler metrik, segmentasi instance, dan deteksi wajah.

media r/LocalLLaMA · 22 hari lalu · 2 tayangan

NVFP4 Qwen3.6-35B-A3B di Blackwell mencapai ~2000 tps dengan 30 aliran simultan

Seorang pengguna mendemonstrasikan menjalankan model Qwen3.6-35B-A3B yang dikuantisasi NVFP4 pada GPU RTX Pro 6000 Blackwell, mencapai sekitar 2000 token per detik dalam throughput agregat sambil menangani 30 aliran captioning gambar simultan. Konfigurasi ini memanfaatkan vLLM dengan backend perhatian FLASHINFER dan caching awalan untuk mengelola konkurensi tinggi. Arsitektur Mixture of Experts (MoE) hanya mengaktifkan sekitar 53-61% ahli bahkan pada tingkat konkurensi tinggi, memungkinkannya mengungguli model padat meskipun memiliki jumlah parameter yang lebih besar. Pengaturan ini membuktikan bahwa kuantisasi NVFP4 pada perangkat keras Blackwell dapat menangani beban kerja multimodal dengan paralelisme signifikan secara efisien tanpa menghabiskan VRAM.