media Hugging Face Forums · baru saja · open_models

Nemotron 3.5 Lightning Omni zero-shot menambahkan visi dan audio melalui kecocokan geometri

Diterjemahkan dari English → Bahasa Indonesia

Penulis telah membuat Nemotron 3.5 Lightning-Omni dengan menempelkan projector pra-latihan dari NVIDIA’s Nemotron-3-Nano-Omni ke model teks-saja Nemotron 3.5 Lightning, memungkinkan pemahaman gambar dan audio tanpa pelatihan tambahan.

Pendekatan ini bekerja karena kedua model berbagi geometri backbone yang sama persis (nemotron_h, tersembunyi 2688, 52 lapisan). Projector Omni donor menerjemahkan fitur visi C-RADIO dan fitur audio Parakeet ke dalam ruang embedding yang sudah digunakan Lightning. Temuan kunci meliputi:

Pemahaman gambar cocok dengan model donor secara persis pada pembacaan teks dan bentuk.
Kinerja audio menunjukkan tingkat kesalahan kata sebesar 7,9 persen dibandingkan dengan 2,6 persen dari donor, dengan kesalahan terbatas pada nama diri langka.
Dukungan video bersifat eksperimental; meskipun berfungsi, sering melaporkan layar hitam karena potensi drift dalam jalur patch temporal.
Kecepatan decode tetap tidak berubah di 60-69 tok/s pada DGX Spark.

Rilis ini berfungsi sebagai bukti keberadaan bahwa kemampuan persepsi dapat dilepas dan ditempelkan ke checkpoint masa depan apa pun yang berbagi geometri nemotron_h dalam keluarga arsitektur.

Kepentingan 1/3 Kepercayaan 1/3 Hugging Face Forums NVIDIA Inference efficiency Multimodal

Artikel terkait

media Hugging Face Forums · baru saja Langsung

GGUF terpadu dan fork llama.cpp mengaktifkan audio dan video untuk Nemotron-3-Nano-Omni

Penulis menangani kegagalan diam pada versi GGUF populer dari Nemotron-3-Nano-Omni-30B, di mana input audio dan video diabaikan karena file projector yang tidak lengkap dan grafik inferensi yang hilang. Untuk memperbaikinya, file mmproj terpadu yang berisi menara visi, encoder audio Parakeet/FastConformer penuh, dan penanam video temporal telah dirilis bersama fork llama.cpp khusus.

media r/LocalLLaMA · 51 hari lalu · 7 tayangan

NVFP4 Qwen3.6-35B-A3B di Blackwell mencapai ~2000 tps dengan 30 aliran simultan

Seorang pengguna mendemonstrasikan menjalankan model Qwen3.6-35B-A3B yang dikuantisasi NVFP4 pada GPU RTX Pro 6000 Blackwell, mencapai sekitar 2000 token per detik dalam throughput agregat sambil menangani 30 aliran captioning gambar simultan. Konfigurasi ini memanfaatkan vLLM dengan backend perhatian FLASHINFER dan caching awalan untuk mengelola konkurensi tinggi. Arsitektur Mixture of Experts (MoE) hanya mengaktifkan sekitar 53-61% ahli bahkan pada tingkat konkurensi tinggi, memungkinkannya mengungguli model padat meskipun memiliki jumlah parameter yang lebih besar. Pengaturan ini membuktikan bahwa kuantisasi NVFP4 pada perangkat keras Blackwell dapat menangani beban kerja multimodal dengan paralelisme signifikan secara efisien tanpa menghabiskan VRAM.

media r/LocalLLaMA · 8 hari lalu · 16 tayangan

NVIDIA melayani Qwen 3.8 2.4T di GB300 NVL72 pada 4K tok/s per GPU

NVIDIA telah mendemonstrasikan layanan model parameter Qwen 3.8 2.4T dengan kemampuan penalaran yang dapat dikonfigurasi pada platform perangkat keras GB300 NVL72-nya.

lab NVIDIA Research · 10 hari lalu · 18 tayangan

Nvidia menghadirkan FusionRelight untuk pencahayaan ulang potret secara real-time melalui fusi pengetahuan domain hibrida

Peneliti dari Nvidia telah memperkenalkan FusionRelight, sebuah metode untuk pencahayaan ulang potret yang menggabungkan transfer iluminasi yang secara fisik masuk akal dengan pelestarian identitas dan inferensi real-time yang ringkas. Pendekatan ini memanfaatkan Fusi Pengetahuan Domain Hibrida (HDKF), sebuah kerangka pelatihan yang mendistilasi prior fisika, reflektansi, dan realisme dari data sintetis, One-Light-at-a-Time (OLAT), dan di alam liar ke dalam model siswa.

github llama.cpp · 11 hari lalu · 16 tayangan

Backend OpenVINO llama.cpp menambahkan dukungan Qwen3.5 dan optimasi memori

Proyek llama.cpp telah menggabungkan pembaruan signifikan pada backend OpenVINO-nya, terutama mengaktifkan dukungan untuk keluarga model Qwen3.5 dan memperkenalkan beberapa teknik optimasi memori.