github llama.cpp · há 1 h · inference

llama.cpp b10604 adiciona suporte ao formato DSV4 do Deepseek 4 e binários para macOS/iOS

Traduzido do English → Português (BR)

O projeto llama.cpp lançou a versão b10604, introduzindo suporte ao formato de modelo Deepseek 4 (DSV4) junto com novos binários pré-compilados para macOS e iOS.

Adiciona suporte a tensores sm do Deepseek 4 (DSV4) com granularidade mais grossa para divisões de cabeças e correções para dspark.
Habilita o salvamento de modelos para DSV4 e permite que o dflash retorne em dispositivos específicos.
Inclui funcionalidade de allreduce atrasado para especialistas compartilhados.
Fornece binários para Apple Silicon no macOS, XCFrameworks para iOS, e binários atualizados para Linux, Windows, Android e openEuler através de CPU, GPU e backends especializados.

Este lançamento permite que os usuários executem modelos Deepseek 4 usando o llama.cpp e fornece builds nativas atualizadas para dispositivos Apple.

Importância 1/3 Confiança 1/3 llama.cpp Inference efficiency Local inference

Ler original

llama.cpp b10598 usa algoritmo de redimensionamento pillow-accurate e corrige resize_algo para todos os modelos

O projeto llama.cpp lançou a compilação b10598, que atualiza o módulo mtmd para usar um algoritmo de redimensionamento pillow-accurate e corrige o resize_algo para todos os modelos. Este lançamento também inclui otimizações de velocidade.

github llama.cpp · há 21 h · 3 visualizações

llama.cpp b10593 corrige rollback do DeepseekV4 e carregamento de modelo

O projeto llama.cpp lançou a compilação b10593, que aborda problemas críticos com a arquitetura do modelo DeepseekV4. A atualização resolve especificamente uma falha de rollback que ocorreu durante o processamento de múltiplas sequências.

github llama.cpp · há 2 d · 3 visualizações

llama.cpp b10584 corrige o dimensionamento do contexto de rascunho para evitar erros 500 do servidor

O projeto llama.cpp lançou a compilação b10584, abordando um problema crítico onde o tamanho do contexto de rascunho não correspondia ao contexto alvo, fazendo com que as solicitações do servidor falhassem com erros 500.

github llama.cpp · há 2 d · 8 visualizações

llama.cpp b10568 usa ggml_rope_set_offset() para DeepSeek 2

O projeto llama.cpp lançou a compilação b10568, que atualiza o tratamento de modelos para usar a função `ggml_rope_set_offset()`. Esta alteração é parcialmente aplicada para suportar o DeepSeek 2.

media Hugging Face Forums · há 3 d · 6 visualizações

Motor Celestium adiciona otimizações de VRAM e fallback para CPU no SDXL

O Motor Celestium introduziu várias atualizações para melhorar o desempenho do SDXL em hardware com pouca VRAM. Essas mudanças focam na gestão de memória, estabilidade e mecanismos de fallback para garantir geração consistente mesmo em sistemas com recursos limitados.