github llama.cpp · há 1 h · inference

mtmd adiciona suporte a WebP via ffmpeg

Traduzido do English → Português (BR)

O componente mtmd no llama.cpp agora suporta o formato de imagem WebP por meio da integração com o ffmpeg.

Permite o processamento de imagens WebP dentro do framework mtmd.
Depende do ffmpeg para a funcionalidade de decodificação.

Importância 1/3 Confiança 1/3 llama.cpp Inference efficiency

llama.cpp b10568 usa ggml_rope_set_offset() para DeepSeek 2

O projeto llama.cpp lançou a compilação b10568, que atualiza o tratamento de modelos para usar a função `ggml_rope_set_offset()`. Esta alteração é parcialmente aplicada para suportar o DeepSeek 2.

github llama.cpp · há 11 h · 4 visualizações

Lançamento do llama.cpp v0.2.0 com ggml 0.21.0 e suporte ao Kleidiai SME2

O projeto llama.cpp lançou a versão 0.2.0, que inclui uma sincronização com a biblioteca ggml atualizada para a versão 0.21.0. Esta atualização introduz várias melhorias de backend e novos recursos em diversas plataformas de hardware.

media Hugging Face Forums · há 17 h · 1 visualização

Motor Celestium adiciona otimizações de VRAM e fallback para CPU no SDXL

O Motor Celestium introduziu várias atualizações para melhorar o desempenho do SDXL em hardware com pouca VRAM. Essas mudanças focam na gestão de memória, estabilidade e mecanismos de fallback para garantir geração consistente mesmo em sistemas com recursos limitados.

github llama.cpp · há 20 h · 2 visualizações

llama.cpp b10549 habilita divisão de tensores para LFM2/LFM2MOE

O projeto llama.cpp lançou a versão b10549, que introduz principalmente o suporte à divisão de tensores nos modelos LFM2 e LFM2MOE.

github vLLM · há 23 h · 4 visualizações

vLLM v0.28.0rc2 adiciona DFlash2 Spec Decode com convolução local e seletor de candidatos

O projeto vLLM lançou a versão 0.28.0rc2, que inclui o recurso de decodificação especulativa DFlash2.