media Hugging Face Forums · há 1 h · open_models

GGUFs do Nemotron-3-Omni da NVIDIA com áudio + vídeo funcionando no llama.cpp (9 quantizações testadas, processamento A/V em uma passada)

Traduzido do English → Português (BR)

Um desenvolvedor lançou um pacote GGUF completo para o modelo Nemotron-3-Nano-Omni-30B da NVIDIA, adicionando suporte a áudio e vídeo anteriormente ausente ao ecossistema llama.cpp. O lançamento inclui nove quantizações que variam de Q3_K_M a BF16 e um arquivo de projetor unificado que integra os codificadores de visão C-RADIO e de áudio Parakeet.

Um fork dedicado do llama.cpp implementa o grafo de áudio Parakeet/FastConformer e o grafo de vídeo C-RADIO, permitindo o processamento em uma única passada de vídeos com sua trilha sonora.
O grafo de vídeo corresponde à referência PyTorch da NVIDIA com erro L2 relativo de 0,0019%, enquanto o grafo de áudio transcreve a narração de teste palavra por palavra.

São fornecidos binários pré-compilados para Linux arm64 CUDA 13 para hardware como DGX Spark e Jetson Thor.

Esta atualização permite que os usuários executem simultaneamente as modalidades de imagem, texto, áudio e vídeo por meio de uma única instância do llama-server em hardware compatível.

Importância 1/3 Novo ambiente de avaliação com diferenciais Confiança 1/3 Hugging Face Forums Inference efficiency Multimodal

Artigos relacionados

media Hugging Face Forums · há 2 h

GGUF unificado e fork do llama.cpp habilitam áudio e vídeo para o Nemotron-3-Nano-Omni

O autor aborda falhas silenciosas nas versões populares do GGUF do Nemotron-3-Nano-Omni-30B, onde as entradas de áudio e vídeo eram ignoradas devido a arquivos de projetor incompletos e gráficos de inferência ausentes. Para corrigir isso, um arquivo mmproj unificado contendo a torre de visão, o codificador de áudio FastConformer completo e o incorporador de vídeo temporal foi lançado junto com um fork especializado do llama.cpp.

media Hugging Face Forums · há 2 h

Zero-shot Nemotron 3.5 Lightning Omni adiciona visão e áudio via correspondência de geometria

O autor criou o Nemotron 3.5 Lightning-Omni anexando projetores pré-treinados do Nemotron-3-Nano-Omni da NVIDIA ao modelo Nemotron 3.5 Lightning apenas para texto, permitindo compreensão de imagens e áudio sem nenhum treinamento adicional.

lab Hugging Face Blog · há 12 d · 9 visualizações

Liquid AI lança LFM2.5-VL-3B para capacidades de visão em borda mais rápidas

A Liquid AI lançou o LFM2.5-VL-3B, um modelo de visão e linguagem com 3 bilhões de parâmetros projetado para oferecer desempenho melhorado e mais rápido em dispositivos de borda. O modelo combina um codificador de visão SigLIP2 400M NaFlex com a estrutura principal de sua contraparte apenas de texto, treinado em aproximadamente 34 trilhões de tokens, incluindo quatro vezes mais dados de visão do que lançamentos anteriores.

lab Liquid AI · há 12 d · 11 visualizações

LFM2.5-VL-3B melhora a compreensão de tela e a chamada de funções para implantação em dispositivos de borda

O LFM2.5-VL-3B é um novo modelo de visão e linguagem que oferece desempenho competitivo em comparação com modelos maiores, mantendo baixa latência para aplicações em tempo real e em dispositivos. Ele se baseia na versão anterior do LFM2-VL-3B com melhorias significativas na compreensão de tela, fundamentação (grounding), chamada de funções e capacidades de entrada de múltiplas imagens.

github llama.cpp · há 24 d · 8 visualizações

llama.cpp b10218 adiciona suporte a downsample do minicpmv46

O projeto llama.cpp lançou a compilação b10218, que inclui a adição do suporte ao downsample do minicpmv46 por meio do pull request #25993. Esta atualização introduz um merger VIT 4x ignore e coloca o modo downsample dentro do formato GGUF.