media Hugging Face Forums · 1 jam lalu · open_models

GGUF NVIDIA Nemotron-3-Omni dengan dukungan audio + video yang berfungsi di llama.cpp (9 kuantisasi teruji, pemrosesan A/V satu tahap)

Diterjemahkan dari English → Bahasa Indonesia

Seorang pengembang telah merilis paket GGUF lengkap untuk model NVIDIA Nemotron-3-Nano-Omni-30B, menambahkan dukungan audio dan video sebelumnya yang hilang ke ekosistem llama.cpp. Rilis ini mencakup sembilan kuantisasi mulai dari Q3_K_M hingga BF16 serta file proyektor terpadu yang menggabungkan encoder visi C-RADIO dan encoder audio Parakeet.

Fork khusus llama.cpp mengimplementasikan grafik audio Parakeet/FastConformer dan grafik video C-RADIO, memungkinkan pemrosesan satu tahap untuk video beserta suaranya.
Grafik video cocok dengan referensi PyTorch NVIDIA hingga kesalahan L2 relatif 0,0019 persen, sementara grafik audio mentranskripsi narasi uji kata demi kata.
Binari CUDA 13 Linux arm64 yang sudah dibangun tersedia untuk perangkat keras seperti DGX Spark dan Jetson Thor.

Pembaruan ini memungkinkan pengguna menjalankan modalitas gambar, teks, audio, dan video secara bersamaan melalui satu instance llama-server pada perangkat keras yang kompatibel.

Kepentingan 1/3 Kerangka evaluasi baru dengan pembeda Kepercayaan 1/3 Hugging Face Forums Inference efficiency Multimodal

Baca aslinya

GGUF terpadu dan fork llama.cpp mengaktifkan audio dan video untuk Nemotron-3-Nano-Omni

Penulis menangani kegagalan diam pada versi GGUF populer dari Nemotron-3-Nano-Omni-30B, di mana input audio dan video diabaikan karena file projector yang tidak lengkap dan grafik inferensi yang hilang. Untuk memperbaikinya, file mmproj terpadu yang berisi menara visi, encoder audio Parakeet/FastConformer penuh, dan penanam video temporal telah dirilis bersama fork llama.cpp khusus.

media Hugging Face Forums · 2 jam lalu

Nemotron 3.5 Lightning Omni zero-shot menambahkan visi dan audio melalui kecocokan geometri

Penulis telah membuat Nemotron 3.5 Lightning-Omni dengan menempelkan projector pra-latihan dari NVIDIA’s Nemotron-3-Nano-Omni ke model teks-saja Nemotron 3.5 Lightning, memungkinkan pemahaman gambar dan audio tanpa pelatihan tambahan.

lab Hugging Face Blog · 12 hari lalu · 9 tayangan

Liquid AI merilis LFM2.5-VL-3B untuk kemampuan visi tepi yang lebih cepat

Liquid AI telah merilis LFM2.5-VL-3B, sebuah model visi-bahasa dengan 3 miliar parameter yang dirancang untuk memberikan kinerja yang lebih baik dan lebih cepat pada perangkat tepi. Model ini menggabungkan encoder visi SigLIP2 400M NaFlex dengan tulang punggung dari pendahulunya yang hanya teks, dilatih pada sekitar 34 triliun token termasuk empat kali lebih banyak data visi dibandingkan rilis sebelumnya.

lab Liquid AI · 12 hari lalu · 11 tayangan

LFM2.5-VL-3B meningkatkan pemahaman layar dan pemanggilan fungsi untuk penyebaran di perangkat tepi

LFM2.5-VL-3B adalah model visi-bahasa baru yang memberikan kinerja kompetitif dibandingkan dengan model yang lebih besar sambil mempertahankan latensi rendah untuk aplikasi waktu nyata dan di perangkat. Model ini dibangun dari rilis LFM2-VL-3B sebelumnya dengan peningkatan signifikan dalam pemahaman layar, grounding, pemanggilan fungsi, dan kemampuan input multi-gambar.

github llama.cpp · 23 hari lalu · 8 tayangan

llama.cpp b10218 menambahkan dukungan downsample minicpmv46

Proyek llama.cpp merilis build b10218, yang mencakup penambahan dukungan downsample minicpmv46 melalui pull request #25993. Pembaruan ini memperkenalkan merger VIT 4x ignore dan menempatkan mode downsample di dalam format GGUF.