github llama.cpp · agora mesmo · inference

llama.cpp b10593 corrige rollback do DeepseekV4 e carregamento de modelo

Traduzido do English → Português (BR)

O projeto llama.cpp lançou a compilação b10593, que aborda problemas críticos com a arquitetura do modelo DeepseekV4. A atualização resolve especificamente uma falha de rollback que ocorreu durante o processamento de múltiplas sequências.

Corrige o tratamento do rollback do DeepseekV4 para contextos de múltiplas sequências.
Corrige os procedimentos gerais de carregamento do modelo.
Torna as operações de rollback pendentes de uso único para prevenir corrupção de estado.
Garante que o cache seja limpo apenas para o ID da sequência específica durante carregamentos completos.
Adiciona asserções para razões de compressão e torna a topologia do grafo estática.

Este lançamento melhora a estabilidade para usuários executando modelos DeepseekV4 com múltiplas sequências. Também fornece binários atualizados para macOS, Linux, Windows, Android e iOS em vários backends de hardware incluindo CPU, CUDA, ROCm e Vulkan.

Importância 1/3 Confiança 1/3 llama.cpp Inference efficiency Local inference

Ler original

llama.cpp b10584 corrige o dimensionamento do contexto de rascunho para evitar erros 500 do servidor

O projeto llama.cpp lançou a compilação b10584, abordando um problema crítico onde o tamanho do contexto de rascunho não correspondia ao contexto alvo, fazendo com que as solicitações do servidor falhassem com erros 500.

github llama.cpp · há 2 d · 3 visualizações

llama.cpp b10568 usa ggml_rope_set_offset() para DeepSeek 2

O projeto llama.cpp lançou a compilação b10568, que atualiza o tratamento de modelos para usar a função `ggml_rope_set_offset()`. Esta alteração é parcialmente aplicada para suportar o DeepSeek 2.

media Hugging Face Forums · há 2 d · 1 visualização

Motor Celestium adiciona otimizações de VRAM e fallback para CPU no SDXL

O Motor Celestium introduziu várias atualizações para melhorar o desempenho do SDXL em hardware com pouca VRAM. Essas mudanças focam na gestão de memória, estabilidade e mecanismos de fallback para garantir geração consistente mesmo em sistemas com recursos limitados.

github llama.cpp · há 2 d · 8 visualizações

llama.cpp b10541 adiciona o argumento --mmproj-device para projetos multimodais

O projeto llama.cpp lançou a compilação b10541, introduzindo o argumento de linha de comando `--mmproj-device` para permitir que os usuários especifiquem o backend do dispositivo para carregar arquivos de projeção multimodal.

github llama.cpp · há 2 d · 2 visualizações

llama.cpp b10545 corrige leituras fora dos limites no matmul do Metal para K não múltiplo de 32

O projeto llama.cpp lançou a compilação b10545, que aborda um bug crítico no kernel de multiplicação de matrizes da API de tensores do backend Metal. A atualização previne comportamento indefinido e resultados corrompidos ao processar tensores onde a dimensão K não é múltipla de 32.