github llama.cpp · há 2 h · inference

llama.cpp b10598 usa algoritmo de redimensionamento pillow-accurate e corrige resize_algo para todos os modelos

Traduzido do English → Português (BR)

O projeto llama.cpp lançou a compilação b10598, que atualiza o módulo mtmd para usar um algoritmo de redimensionamento pillow-accurate e corrige o resize_algo para todos os modelos. Este lançamento também inclui otimizações de velocidade.

O módulo mtmd agora emprega um algoritmo de redimensionamento pillow-accurate.
O resize_algo foi corrigido em todos os modelos.
Otimizações gerais de velocidade foram aplicadas.

Esta atualização garante um redimensionamento de imagem mais preciso no módulo mtmd e melhora o desempenho para usuários que executam llama.cpp no macOS, iOS, Linux, Windows, Android e openEuler.

Importância 1/3 Confiança 1/3 llama.cpp Inference efficiency Local inference

Ler original

llama.cpp b10593 corrige rollback do DeepseekV4 e carregamento de modelo

O projeto llama.cpp lançou a compilação b10593, que aborda problemas críticos com a arquitetura do modelo DeepseekV4. A atualização resolve especificamente uma falha de rollback que ocorreu durante o processamento de múltiplas sequências.

github llama.cpp · há 1 d · 2 visualizações

llama.cpp b10584 corrige o dimensionamento do contexto de rascunho para evitar erros 500 do servidor

O projeto llama.cpp lançou a compilação b10584, abordando um problema crítico onde o tamanho do contexto de rascunho não correspondia ao contexto alvo, fazendo com que as solicitações do servidor falhassem com erros 500.

github llama.cpp · há 2 d · 5 visualizações

llama.cpp b10568 usa ggml_rope_set_offset() para DeepSeek 2

O projeto llama.cpp lançou a compilação b10568, que atualiza o tratamento de modelos para usar a função `ggml_rope_set_offset()`. Esta alteração é parcialmente aplicada para suportar o DeepSeek 2.

media Hugging Face Forums · há 2 d · 4 visualizações

Motor Celestium adiciona otimizações de VRAM e fallback para CPU no SDXL

O Motor Celestium introduziu várias atualizações para melhorar o desempenho do SDXL em hardware com pouca VRAM. Essas mudanças focam na gestão de memória, estabilidade e mecanismos de fallback para garantir geração consistente mesmo em sistemas com recursos limitados.

github llama.cpp · há 3 d · 9 visualizações

llama.cpp b10541 adiciona o argumento --mmproj-device para projetos multimodais

O projeto llama.cpp lançou a compilação b10541, introduzindo o argumento de linha de comando `--mmproj-device` para permitir que os usuários especifiquem o backend do dispositivo para carregar arquivos de projeção multimodal.