github llama.cpp · há 1 h · inference

llama.cpp b10584 corrige o dimensionamento do contexto de rascunho para evitar erros 500 do servidor

Traduzido do English → Português (BR)

O projeto llama.cpp lançou a compilação b10584, abordando um problema crítico onde o tamanho do contexto de rascunho não correspondia ao contexto alvo, fazendo com que as solicitações do servidor falhassem com erros 500.

O servidor agora garante que o contexto de rascunho siga o tamanho do contexto alvo, prevenindo falhas de decodificação quando os slots são preenchidos além dos limites anteriores.
A reserva de memória para o modelo de rascunho é medida no maior contexto que o alvo pode aceitar, permitindo que contextos que compartilham células com o alvo abandonem a sobrescrita kv_size.
A função fit agora leva em conta um segundo modelo opcional, garantindo que sua memória seja medida sempre que o contexto principal mudar para manter o caminho reduce exato.

Esta atualização resolve problemas de estabilidade em implantações do servidor ao alinhar dinamicamente os tamanhos dos contextos de rascunho e alvo.

Importância 1/3 Confiança 1/3 llama.cpp Inference efficiency Local inference

Ler original

llama.cpp b10568 usa ggml_rope_set_offset() para DeepSeek 2

O projeto llama.cpp lançou a compilação b10568, que atualiza o tratamento de modelos para usar a função `ggml_rope_set_offset()`. Esta alteração é parcialmente aplicada para suportar o DeepSeek 2.

media Hugging Face Forums · há 1 d · 1 visualização

Motor Celestium adiciona otimizações de VRAM e fallback para CPU no SDXL

O Motor Celestium introduziu várias atualizações para melhorar o desempenho do SDXL em hardware com pouca VRAM. Essas mudanças focam na gestão de memória, estabilidade e mecanismos de fallback para garantir geração consistente mesmo em sistemas com recursos limitados.

github llama.cpp · há 2 d · 6 visualizações

llama.cpp b10541 adiciona o argumento --mmproj-device para projetos multimodais

O projeto llama.cpp lançou a compilação b10541, introduzindo o argumento de linha de comando `--mmproj-device` para permitir que os usuários especifiquem o backend do dispositivo para carregar arquivos de projeção multimodal.

github llama.cpp · há 2 d · 2 visualizações

llama.cpp b10545 corrige leituras fora dos limites no matmul do Metal para K não múltiplo de 32

O projeto llama.cpp lançou a compilação b10545, que aborda um bug crítico no kernel de multiplicação de matrizes da API de tensores do backend Metal. A atualização previne comportamento indefinido e resultados corrompidos ao processar tensores onde a dimensão K não é múltipla de 32.

github llama.cpp · há 2 d · 6 visualizações

Lançamento do llama.cpp b10538 com cache KV desquantizado para grandes lotes

O projeto llama.cpp lançou a versão b10538, introduzindo uma otimização-chave no backend metal. Esta atualização permite a desquantização do cache de chave-valor (KV) exclusivamente para tamanhos de lote grandes.