github llama.cpp · há 1 h · inference

llama.cpp 0.3.0 adiciona modelo dots3-note e tensor-split para DeepSeek 4

Traduzido do English → Português (BR)

O llama.cpp 0.3.0 introduz suporte ao modelo multimodal dots3-note com um novo tipo de cache KV DSA-ISWA, além de suporte à previsão multi-token (MTP) para GLM-4.5-Air. A versão também adiciona capacidades de tensor-split para DeepSeek 4 e corrige problemas de rollback em múltiplas sequências.

O ggml é atualizado para v0.22.0, adicionando suporte a tensor-split ao meta-backend e aos kernels Metal por operação com compilação paralela.
O mtmd ganha suporte a visão/áudio dots3-note, decodificação WebP via ffmpeg e um algoritmo de redimensionamento preciso conforme o Pillow.
O DeepSeek 4 recebe modo tensor-split através da flag `-sm tensor` e correções para rollback com múltiplas sequências.
O servidor adiciona uma opção de depuração `LLAMA_SERVER_SLOTS_N_DIFF`, enquanto a interface web ganha navegação por abas no chat.

Esta atualização expande as capacidades multimodais do llama.cpp e melhora o desempenho e a estabilidade para arquiteturas de modelos específicas, como DeepSeek 4 e GLM-4.5-Air.

Importância 1/3 Confiança 1/3 llama.cpp Hugging Face Inference efficiency Multimodal

Artigos relacionados

media r/LocalLLaMA · há 41 d · 11 visualizações

OvisOCR2 lidera o OmniDocBench como primeiro modelo de análise documental end-to-end

A ATH-MaaS lançou o OvisOCR2, um modelo de visão e linguagem de 0.8B pós-treinado a partir do Qwen3.5-0.8B, que atua como o primeiro modelo end-to-end a liderar o ranking do OmniDocBench com uma pontuação de 96.58 na versão v1.6.

lab Hugging Face Blog · agora mesmo · 1 visualização Ao vivo

Papers with Code usa serviços do Hugging Face para pesquisa híbrida de artigos

O Papers with Code implementou um sistema de busca híbrida que combina recuperação por palavras-chave e semântica para ajudar os usuários a encontrar artigos relevantes de pesquisa em IA. A arquitetura utiliza o Hugging Face Jobs, Storage Buckets e Inference Endpoints para gerenciar o pipeline de embeddings e atender consultas com baixa latência.

media Hugging Face Forums · há 13 h · 2 visualizações

GGUFs do Nemotron-3-Omni da NVIDIA com áudio + vídeo funcionando no llama.cpp (9 quantizações testadas, processamento A/V em uma passada)

Um desenvolvedor lançou um pacote GGUF completo para o modelo Nemotron-3-Nano-Omni-30B da NVIDIA, adicionando suporte a áudio e vídeo anteriormente ausente ao ecossistema llama.cpp. O lançamento inclui nove quantizações que variam de Q3_K_M a BF16 e um arquivo de projetor unificado que integra os codificadores de visão C-RADIO e de áudio Parakeet.

github llama.cpp · há 14 h · 1 visualização

llama.cpp b10615 adiciona vec flash-attn ajustado por dispositivo para Metal

O projeto llama.cpp lançou a versão b10615, introduzindo operações vetoriais flash-attention quantizadas (Q, NE) ajustadas por dispositivo para o backend do Metal.

media Hugging Face Forums · há 14 h · 1 visualização

GGUF unificado e fork do llama.cpp habilitam áudio e vídeo para o Nemotron-3-Nano-Omni

O autor aborda falhas silenciosas nas versões populares do GGUF do Nemotron-3-Nano-Omni-30B, onde as entradas de áudio e vídeo eram ignoradas devido a arquivos de projetor incompletos e gráficos de inferência ausentes. Para corrigir isso, um arquivo mmproj unificado contendo a torre de visão, o codificador de áudio FastConformer completo e o incorporador de vídeo temporal foi lançado junto com um fork especializado do llama.cpp.