media Hugging Face Forums · há 1 h · open_models

GGUF unificado e fork do llama.cpp habilitam áudio e vídeo para o Nemotron-3-Nano-Omni

Traduzido do English → Português (BR)

O autor aborda falhas silenciosas nas versões populares do GGUF do Nemotron-3-Nano-Omni-30B, onde as entradas de áudio e vídeo eram ignoradas devido a arquivos de projetor incompletos e gráficos de inferência ausentes. Para corrigir isso, um arquivo mmproj unificado contendo a torre de visão, o codificador de áudio FastConformer completo e o incorporador de vídeo temporal foi lançado junto com um fork especializado do llama.cpp.

O novo mmproj combina a torre de visão C-RADIO, o codificador de áudio FastConformer de 24 camadas e as incorporações de patch de vídeo temporal em um único arquivo.
Um fork dedicado do llama.cpp implementa os gráficos de inferência de áudio e vídeo necessários, incluindo suporte para poda de tokens EVS.
A verificação confirma que o gráfico de vídeo corresponde à referência PyTorch da NVIDIA com erro L2 relativo de 0,0019 por cento e paridade exata do EVS.
O modelo está disponível em nove quantizações no Hugging Face, enquanto áudio e vídeo atualmente exigem os binários do llama.cpp forkado.

Esta atualização permite que os usuários processem entradas de imagem, áudio e vídeo simultaneamente em uma única passagem, com lançamentos futuros planejados para integrar o layout do projetor de áudio.

Importância 1/3 Novo ambiente de avaliação com diferenciais Confiança 1/3 Hugging Face Forums NVIDIA Inference efficiency Multimodal

Artigos relacionados

media Hugging Face Forums · há 1 h Ao vivo

Zero-shot Nemotron 3.5 Lightning Omni adiciona visão e áudio via correspondência de geometria

O autor criou o Nemotron 3.5 Lightning-Omni anexando projetores pré-treinados do Nemotron-3-Nano-Omni da NVIDIA ao modelo Nemotron 3.5 Lightning apenas para texto, permitindo compreensão de imagens e áudio sem nenhum treinamento adicional.

media r/LocalLLaMA · há 51 d · 7 visualizações

NVFP4 Qwen3.6-35B-A3B no Blackwell alcança ~2000 tps com 30 streams concorrentes

Um usuário demonstra a execução do modelo Qwen3.6-35B-A3B quantizado com NVFP4 em uma GPU RTX Pro 6000 Blackwell, atingindo aproximadamente 2000 tokens por segundo de throughput agregado ao lidar com 30 streams concorrentes de geração de legendas para imagens. A configuração utiliza vLLM com o backend de atenção FLASHINFER e cache de prefixos para gerenciar alta concorrência. A arquitetura Mixture of Experts (MoE) ativa apenas cerca de 53-61% dos especialistas mesmo em níveis altos de concorrência, permitindo que supere modelos densos apesar de sua maior contagem de parâmetros. Esta configuração prova que a quantização NVFP4 no hardware Blackwell pode lidar eficientemente com cargas de trabalho multimodais com paralelismo significativo sem esgotar a VRAM.

media Hugging Face Forums · agora mesmo Ao vivo

GGUFs do Nemotron-3-Omni da NVIDIA com áudio + vídeo funcionando no llama.cpp (9 quantizações testadas, processamento A/V em uma passada)

Um desenvolvedor lançou um pacote GGUF completo para o modelo Nemotron-3-Nano-Omni-30B da NVIDIA, adicionando suporte a áudio e vídeo anteriormente ausente ao ecossistema llama.cpp. O lançamento inclui nove quantizações que variam de Q3_K_M a BF16 e um arquivo de projetor unificado que integra os codificadores de visão C-RADIO e de áudio Parakeet.

media r/LocalLLaMA · há 8 d · 16 visualizações

NVIDIA serve Qwen 3.8 2.4T no GB300 NVL72 a 4K tokens/s por GPU

A NVIDIA demonstrou o serviço do modelo de parâmetros Qwen 3.8 2.4T com capacidades de raciocínio configuráveis em sua plataforma de hardware GB300 NVL72.

lab NVIDIA Research · há 10 d · 18 visualizações

Nvidia apresenta FusionRelight para realinhamento de retratos em tempo real por meio da fusão híbrida de conhecimento de domínio

Pesquisadores da Nvidia introduziram o FusionRelight, um método para realinhamento de retratos que combina transferência de iluminação fisicamente plausível com preservação de identidade e inferência compacta em tempo real. A abordagem utiliza a Fusão Híbrida de Conhecimento de Domínio (HDKF), uma estrutura de treinamento que destila priors de física, refletância e realismo a partir de dados sintéticos, One-Light-at-a-Time (OLAT) e in-the-wild em um modelo estudante.