media Hugging Face Forums · 1 jam lalu · open_models

GGUF terpadu dan fork llama.cpp mengaktifkan audio dan video untuk Nemotron-3-Nano-Omni

Diterjemahkan dari English → Bahasa Indonesia

Penulis menangani kegagalan diam pada versi GGUF populer dari Nemotron-3-Nano-Omni-30B, di mana input audio dan video diabaikan karena file projector yang tidak lengkap dan grafik inferensi yang hilang. Untuk memperbaikinya, file mmproj terpadu yang berisi menara visi, encoder audio Parakeet/FastConformer penuh, dan penanam video temporal telah dirilis bersama fork llama.cpp khusus.

mmproj baru menggabungkan menara visi C-RADIO, encoder audio FastConformer 24 lapis, dan penanam patch video temporal ke dalam satu file.
Fork llama.cpp khusus mengimplementasikan grafik inferensi audio dan video yang diperlukan, termasuk dukungan untuk pemangkasan token EVS.
Verifikasi mengonfirmasi bahwa grafik video cocok dengan referensi PyTorch NVIDIA dengan kesalahan L2 relatif 0,0019 persen dan kesetaraan EVS yang tepat.
Model tersedia dalam sembilan kuantisasi di Hugging Face, sementara audio dan video saat ini memerlukan biner llama.cpp yang di-fork.

Pembaruan ini memungkinkan pengguna memproses input gambar, audio, dan video secara bersamaan dalam satu langkah, dengan rilis upstream masa depan direncanakan untuk mengintegrasikan tata letak projector audio.

Kepentingan 1/3 Kerangka evaluasi baru dengan pembeda Kepercayaan 1/3 Hugging Face Forums NVIDIA Inference efficiency Multimodal

Artikel terkait

media Hugging Face Forums · 1 jam lalu Langsung

Nemotron 3.5 Lightning Omni zero-shot menambahkan visi dan audio melalui kecocokan geometri

Penulis telah membuat Nemotron 3.5 Lightning-Omni dengan menempelkan projector pra-latihan dari NVIDIA’s Nemotron-3-Nano-Omni ke model teks-saja Nemotron 3.5 Lightning, memungkinkan pemahaman gambar dan audio tanpa pelatihan tambahan.

media r/LocalLLaMA · 51 hari lalu · 7 tayangan

NVFP4 Qwen3.6-35B-A3B di Blackwell mencapai ~2000 tps dengan 30 aliran simultan

Seorang pengguna mendemonstrasikan menjalankan model Qwen3.6-35B-A3B yang dikuantisasi NVFP4 pada GPU RTX Pro 6000 Blackwell, mencapai sekitar 2000 token per detik dalam throughput agregat sambil menangani 30 aliran captioning gambar simultan. Konfigurasi ini memanfaatkan vLLM dengan backend perhatian FLASHINFER dan caching awalan untuk mengelola konkurensi tinggi. Arsitektur Mixture of Experts (MoE) hanya mengaktifkan sekitar 53-61% ahli bahkan pada tingkat konkurensi tinggi, memungkinkannya mengungguli model padat meskipun memiliki jumlah parameter yang lebih besar. Pengaturan ini membuktikan bahwa kuantisasi NVFP4 pada perangkat keras Blackwell dapat menangani beban kerja multimodal dengan paralelisme signifikan secara efisien tanpa menghabiskan VRAM.

media Hugging Face Forums · baru saja Langsung

GGUF NVIDIA Nemotron-3-Omni dengan dukungan audio + video yang berfungsi di llama.cpp (9 kuantisasi teruji, pemrosesan A/V satu tahap)

Seorang pengembang telah merilis paket GGUF lengkap untuk model NVIDIA Nemotron-3-Nano-Omni-30B, menambahkan dukungan audio dan video sebelumnya yang hilang ke ekosistem llama.cpp. Rilis ini mencakup sembilan kuantisasi mulai dari Q3_K_M hingga BF16 serta file proyektor terpadu yang menggabungkan encoder visi C-RADIO dan encoder audio Parakeet.

media r/LocalLLaMA · 8 hari lalu · 16 tayangan

NVIDIA melayani Qwen 3.8 2.4T di GB300 NVL72 pada 4K tok/s per GPU

NVIDIA telah mendemonstrasikan layanan model parameter Qwen 3.8 2.4T dengan kemampuan penalaran yang dapat dikonfigurasi pada platform perangkat keras GB300 NVL72-nya.

lab NVIDIA Research · 10 hari lalu · 18 tayangan

Nvidia menghadirkan FusionRelight untuk pencahayaan ulang potret secara real-time melalui fusi pengetahuan domain hibrida

Peneliti dari Nvidia telah memperkenalkan FusionRelight, sebuah metode untuk pencahayaan ulang potret yang menggabungkan transfer iluminasi yang secara fisik masuk akal dengan pelestarian identitas dan inferensi real-time yang ringkas. Pendekatan ini memanfaatkan Fusi Pengetahuan Domain Hibrida (HDKF), sebuah kerangka pelatihan yang mendistilasi prior fisika, reflektansi, dan realisme dari data sintetis, One-Light-at-a-Time (OLAT), dan di alam liar ke dalam model siswa.