github llama.cpp · há 2 h · inference

llama.cpp b10816 adiciona ajustes fa-vec para M3 e novos binários

Traduzido do English → Português (BR)

O projeto llama.cpp lançou a versão b10816, que inclui atualizações para o backend Metal em dispositivos Apple Silicon. O lançamento foca em adicionar os ajustes restantes de fast-vector especificamente para a arquitetura do chip M3.

Adiciona entradas M3 à fa_vec_tuned_table.
Inclui as quantizações q4_0, q4_1, q5_0 e q5_1 no ggml-metal-tuning.
Fornece binários para macOS (Apple Silicon e Intel), iOS, Linux, Windows, Android e openEuler.
Suporta vários backends incluindo CPU, Vulkan, ROCm 10.0, OpenVINO, SYCL, CUDA 12/13 e OpenCL Adreno.

Esta atualização garante desempenho otimizado para hardware M3 enquanto expande a disponibilidade de binários pré-compilados em múltiplos sistemas operacionais e arquiteturas de GPU.

Importância 1/3 Confiança 1/3 llama.cpp Inference efficiency Local inference

Ler original

llama.cpp b10796 adiciona n_expert_used_max para corrigir o carregamento do Nemotron-3-Puzzle

O projeto llama.cpp lançou a compilação b10796, que inclui uma alteração no carregador de modelos para suportar modelos com diferentes números de especialistas por camada.

github llama.cpp · há 1 d · 3 visualizações

llama.cpp b10791 adiciona otimizações de GEMV de decodificação e lm_head quantizado para OpenCL

O projeto llama.cpp lançou a versão b10791, introduzindo otimizações significativas do OpenCL para cabeças de modelos de linguagem quantizadas e operações de GEMV de decodificação. Esta atualização também inclui melhorias de GEMM em lotes médios relevantes para decodificação especulativa e previsão de múltiplos tokens.

github llama.cpp · há 2 d · 3 visualizações

ggml-org lança llama.cpp b10774 com correção de cache KV para fine-tuning

O projeto ggml-org lançou a versão b10774 do llama.cpp, que inclui uma correção para o problema de falta de cache KV no módulo de fine-tuning.

github llama.cpp · há 2 d · 9 visualizações

llama.cpp b10763 habilita preserve_reasoning por padrão

O projeto llama.cpp lançou a compilação b10763, que altera o comportamento padrão do argumento de palavra-chave `preserve_reasoning` do modelo de chat. O servidor agora registra o estado efetivo deste kwarg e emite um aviso quando ele está habilitado por padrão em modelos que o suportam.

github llama.cpp · há 2 d · 3 visualizações

llama.cpp b10760 corrige estabilidade de inferência do Qwen3-tts-0.6b

O projeto llama.cpp lançou a compilação b10760, que inclui correções específicas para o modelo Qwen3-tts-0.6B para prevenir instabilidade numérica durante a inferência.