github llama.cpp · agora mesmo · inference

llama.cpp b10796 adiciona n_expert_used_max para corrigir o carregamento do Nemotron-3-Puzzle

Traduzido do English → Português (BR)

O projeto llama.cpp lançou a compilação b10796, que inclui uma alteração no carregador de modelos para suportar modelos com diferentes números de especialistas por camada.

Adiciona a função `n_expert_used_max` para lidar com verificações de camadas de especialistas durante o carregamento do modelo.
Atualiza `llama_model_base::load_hparams` para usar `hparams.n_expert_used_max` em vez de falhar em asserções.
Resolve erros ao carregar modelos como NVIDIA Nemotron-3-Puzzle-75B-A9B que têm configurações específicas de especialistas.

Esta atualização permite que o llama.cpp carregue e processe corretamente modelos onde o número de especialistas usados varia entre as camadas, impedindo falhas em asserções durante a inicialização.

Importância 1/3 Confiança 1/3 llama.cpp Inference efficiency Local inference

Ler original

llama.cpp b10791 adiciona otimizações de GEMV de decodificação e lm_head quantizado para OpenCL

O projeto llama.cpp lançou a versão b10791, introduzindo otimizações significativas do OpenCL para cabeças de modelos de linguagem quantizadas e operações de GEMV de decodificação. Esta atualização também inclui melhorias de GEMM em lotes médios relevantes para decodificação especulativa e previsão de múltiplos tokens.

github llama.cpp · há 1 d · 2 visualizações

ggml-org lança llama.cpp b10774 com correção de cache KV para fine-tuning

O projeto ggml-org lançou a versão b10774 do llama.cpp, que inclui uma correção para o problema de falta de cache KV no módulo de fine-tuning.

github llama.cpp · há 1 d · 7 visualizações

llama.cpp b10763 habilita preserve_reasoning por padrão

O projeto llama.cpp lançou a compilação b10763, que altera o comportamento padrão do argumento de palavra-chave `preserve_reasoning` do modelo de chat. O servidor agora registra o estado efetivo deste kwarg e emite um aviso quando ele está habilitado por padrão em modelos que o suportam.

github llama.cpp · há 2 d · 3 visualizações

llama.cpp b10760 corrige estabilidade de inferência do Qwen3-tts-0.6b

O projeto llama.cpp lançou a compilação b10760, que inclui correções específicas para o modelo Qwen3-tts-0.6B para prevenir instabilidade numérica durante a inferência.

github llama.cpp · há 2 d · 3 visualizações

llama.cpp b10751 funde a redução de especialistas ponderados do MoE para CUDA

O projeto llama.cpp lançou a compilação b10751, que introduz um kernel fundido para a redução de especialistas ponderados do MoE (Mixture of Experts) no CUDA. Essa otimização substitui a linha de base anterior, que executava dois kernels físicos, por um único kernel de redução ponderada para reduzir o tráfego de memória global intermediário.