github llama.cpp · há 1 h · inference

llama.cpp b10763 habilita preserve_reasoning por padrão

Traduzido do English → Português (BR)

O projeto llama.cpp lançou a compilação b10763, que altera o comportamento padrão do argumento de palavra-chave `preserve_reasoning` do modelo de chat. O servidor agora registra o estado efetivo deste kwarg e emite um aviso quando ele está habilitado por padrão em modelos que o suportam.

O método `--chat-template-kwargs` para definir essa opção está obsoleto em favor de sinalizadores explícitos como `--reasoning-preserve` ou `--no-reasoning-preserve`.
Binários pré-compilados estão disponíveis para macOS (Apple Silicon e Intel), iOS, Linux (CPU, Vulkan, ROCm 7.14, OpenVINO, SYCL), Android, Windows (CPU, CUDA 12/13, Vulkan, OpenVINO, SYCL, ROCm 7.14) e openEuler.
A versão inclui binários de UI para todas as plataformas suportadas.

Importância 1/3 Confiança 1/3 llama.cpp Inference efficiency Local inference

Ler original

llama.cpp b10760 corrige estabilidade de inferência do Qwen3-tts-0.6b

O projeto llama.cpp lançou a compilação b10760, que inclui correções específicas para o modelo Qwen3-tts-0.6B para prevenir instabilidade numérica durante a inferência.

github llama.cpp · há 23 h · 1 visualização

llama.cpp b10751 funde a redução de especialistas ponderados do MoE para CUDA

O projeto llama.cpp lançou a compilação b10751, que introduz um kernel fundido para a redução de especialistas ponderados do MoE (Mixture of Experts) no CUDA. Essa otimização substitui a linha de base anterior, que executava dois kernels físicos, por um único kernel de redução ponderada para reduzir o tráfego de memória global intermediário.

github llama.cpp · há 1 d · 1 visualização

llama.cpp b10760 corrige estabilidade de inferência do Qwen3-tts-0.6b

llama.cpp b10751 funde a redução de especialistas ponderados do MoE para CUDA

llama.cpp b10750 otimiza a consulta de n-gramas do cache KV para ganho de 4,9% na taxa de transferência

llama.cpp b10742 adiciona ajustes fa-vec para A18 Pro

llama.cpp b10739 adiciona ajuste fa-vec para M2 Max