github llama.cpp · há 2 h · inference

llama.cpp b10618 corrige a análise de gramática para hífens literais em classes de caracteres

Traduzido do English → Português (BR)

O projeto llama.cpp lançou a compilação b10618, que inclui uma correção para o analisador de gramática para lidar corretamente com hífens literais dentro de classes de caracteres. Anteriormente, a função `gbnf_escape_char_class()` escapava o hífen como "\-", mas a função `parse_char()` rejeitava essa sequência de escape, fazendo com que as gramáticas geradas para chamadas de ferramentas falhassem durante a análise.

Esta atualização resolve o problema permitindo que o analisador aceite o hífen escapado nas classes de caracteres. O lançamento também inclui testes atualizados para este caso específico da gramática e fornece binários para macOS, Linux, Windows, Android e openEuler em várias arquiteturas e implementações de backend.

Importância 1/3 Confiança 1/3 llama.cpp Inference efficiency

Ler original

GGUFs do Nemotron-3-Omni da NVIDIA com áudio + vídeo funcionando no llama.cpp (9 quantizações testadas, processamento A/V em uma passada)

Um desenvolvedor lançou um pacote GGUF completo para o modelo Nemotron-3-Nano-Omni-30B da NVIDIA, adicionando suporte a áudio e vídeo anteriormente ausente ao ecossistema llama.cpp. O lançamento inclui nove quantizações que variam de Q3_K_M a BF16 e um arquivo de projetor unificado que integra os codificadores de visão C-RADIO e de áudio Parakeet.

github llama.cpp · há 11 h · 1 visualização

llama.cpp b10615 adiciona vec flash-attn ajustado por dispositivo para Metal

O projeto llama.cpp lançou a versão b10615, introduzindo operações vetoriais flash-attention quantizadas (Q, NE) ajustadas por dispositivo para o backend do Metal.

media Hugging Face Forums · há 11 h · 1 visualização

GGUF unificado e fork do llama.cpp habilitam áudio e vídeo para o Nemotron-3-Nano-Omni

O autor aborda falhas silenciosas nas versões populares do GGUF do Nemotron-3-Nano-Omni-30B, onde as entradas de áudio e vídeo eram ignoradas devido a arquivos de projetor incompletos e gráficos de inferência ausentes. Para corrigir isso, um arquivo mmproj unificado contendo a torre de visão, o codificador de áudio FastConformer completo e o incorporador de vídeo temporal foi lançado junto com um fork especializado do llama.cpp.

media Hugging Face Forums · há 12 h · 1 visualização

Zero-shot Nemotron 3.5 Lightning Omni adiciona visão e áudio via correspondência de geometria

O autor criou o Nemotron 3.5 Lightning-Omni anexando projetores pré-treinados do Nemotron-3-Nano-Omni da NVIDIA ao modelo Nemotron 3.5 Lightning apenas para texto, permitindo compreensão de imagens e áudio sem nenhum treinamento adicional.

github llama.cpp · há 12 h · 1 visualização

llama.cpp b10614 adiciona divisão de fonte por operação do Metal e compilação paralela

O lançamento llama.cpp b10614 introduz uma mudança arquitetural significativa no backend do Metal ao dividir as fontes das operações e habilitar a compilação paralela. Esta atualização também inclui várias implementações de kernel novas e suporte para formatos de quantização adicionais.