github llama.cpp · há 2 h · inference

llama.cpp 0.4.0 adiciona suporte para Qwen3.8-Flash-Next e Nemotron-3-Puzzle

Traduzido do English → Português (BR)

O llama.cpp versão 0.4.0 introduz suporte de arquitetura inicial para os modelos Qwen3.8-Flash-Next e NVIDIA Nemotron-3-Puzzle-75B-A9B, juntamente com uma atualização da biblioteca subjacente ggml para a versão 0.23.0.

Adicionado leitura preguiçosa de tensores sob demanda e limites de contexto do servidor por slot.
Atualizado ggml para 0.23.0 com atenção flash esparsa e suporte ao transporte Apple RDMA.
Introduzidas opções de entrada de vídeo, busca de histórico n-gramas e limites de RAM para o quantizador.
Habilitado `preserve_reasoning` por padrão no servidor e melhorados os auxiliares de tokenização multimodal.

Essas alterações expandem a compatibilidade do modelo e fornecem aos desenvolvedores um controle mais fino sobre o uso de memória e alocação de recursos do servidor.

Importância 1/3 Confiança 1/3 llama.cpp Hugging Face Inference efficiency Multimodal

Ler original

llama.cpp 0.3.0 adiciona modelo dots3-note e tensor-split para DeepSeek 4

O llama.cpp 0.3.0 introduz suporte ao modelo multimodal dots3-note com um novo tipo de cache KV DSA-ISWA, além de suporte à previsão multi-token (MTP) para GLM-4.5-Air. A versão também adiciona capacidades de tensor-split para DeepSeek 4 e corrige problemas de rollback em múltiplas sequências.

media r/LocalLLaMA · há 51 d · 17 visualizações

OvisOCR2 lidera o OmniDocBench como primeiro modelo de análise documental end-to-end

A ATH-MaaS lançou o OvisOCR2, um modelo de visão e linguagem de 0.8B pós-treinado a partir do Qwen3.5-0.8B, que atua como o primeiro modelo end-to-end a liderar o ranking do OmniDocBench com uma pontuação de 96.58 na versão v1.6.

github llama.cpp · há 18 h · 1 visualização

llama.cpp b10795 funde operações SYCL

O projeto llama.cpp lançou a versão b10795, que inclui uma nova otimização para o backend SYCL. Esta atualização permite a fusão das cadeias RMS_NORM+MUL+ADD e ADD+ADD residual sob a flag GGML_SYCL_ENABLE_FUSION.

github llama.cpp · há 1 d · 3 visualizações

llama.cpp b10791 adiciona otimizações de GEMV de decodificação e lm_head quantizado para OpenCL

O projeto llama.cpp lançou a versão b10791, introduzindo otimizações significativas do OpenCL para cabeças de modelos de linguagem quantizadas e operações de GEMV de decodificação. Esta atualização também inclui melhorias de GEMM em lotes médios relevantes para decodificação especulativa e previsão de múltiplos tokens.

media r/LocalLLaMA · há 1 d · 4 visualizações

IFM lança K2-Horizon-MoVA-36B-A4B, um modelo MoE esparso com 4B de parâmetros ativos

A IFM lançou o checkpoint final para o K2-Horizon-MoVA-36B-A4B, um modelo Mixture-of-Experts que apresenta atenção Mixture-of-Values, armazena 36B de parâmetros mas executa apenas 4B por token. O lançamento inclui formatos GGUF e links para variantes menores da família K2-Horizon.