github llama.cpp · há 3 h · inference

llama.cpp b10822 embute ativos da interface do usuário com CMake e simplifica a compilação cruzada

Traduzido do English → Português (BR)

O projeto llama.cpp lançou a compilação b10822, que modifica o sistema de build para embutir diretamente os recursos da interface do usuário usando CMake. Esta alteração remove a necessidade de um auxiliar de C++ em tempo de build e de uma dependência externa do gzip, simplificando assim o processo de compilação cruzada.

O código C++ gerado é mantido em templates para preservar a legibilidade enquanto mantém os ativos da interface do usuário totalmente embutidos.
Binários pré-compilados estão disponíveis para macOS (Apple Silicon e Intel), iOS, Linux (Ubuntu com CPU, Vulkan, ROCm 10.0, OpenVINO, SYCL), Android, Windows (CPU, CUDA 12/13, Vulkan, OpenCL, ROCm 10.0, OpenVINO, SYCL) e openEuler.
As compilações do macOS Apple Silicon com KleidiAI estão desativadas nesta versão.

Esta atualização simplifica a infraestrutura de build para desenvolvedores enquanto fornece suporte abrangente à plataforma para a versão mais recente do llama.cpp.

Importância 1/3 Confiança 1/3 llama.cpp Inference efficiency Local inference

Ler original

llama.cpp b10816 adiciona ajustes fa-vec para M3 e novos binários

O projeto llama.cpp lançou a versão b10816, que inclui atualizações para o backend Metal em dispositivos Apple Silicon. O lançamento foca em adicionar os ajustes restantes de fast-vector especificamente para a arquitetura do chip M3.

github llama.cpp · há 2 d · 5 visualizações

llama.cpp b10796 adiciona n_expert_used_max para corrigir o carregamento do Nemotron-3-Puzzle

O projeto llama.cpp lançou a compilação b10796, que inclui uma alteração no carregador de modelos para suportar modelos com diferentes números de especialistas por camada.

github llama.cpp · há 3 d · 9 visualizações

llama.cpp b10791 adiciona otimizações de GEMV de decodificação e lm_head quantizado para OpenCL

O projeto llama.cpp lançou a versão b10791, introduzindo otimizações significativas do OpenCL para cabeças de modelos de linguagem quantizadas e operações de GEMV de decodificação. Esta atualização também inclui melhorias de GEMM em lotes médios relevantes para decodificação especulativa e previsão de múltiplos tokens.

github llama.cpp · há 4 d · 6 visualizações

ggml-org lança llama.cpp b10774 com correção de cache KV para fine-tuning

O projeto ggml-org lançou a versão b10774 do llama.cpp, que inclui uma correção para o problema de falta de cache KV no módulo de fine-tuning.

github llama.cpp · há 4 d · 16 visualizações

llama.cpp b10763 habilita preserve_reasoning por padrão

O projeto llama.cpp lançou a compilação b10763, que altera o comportamento padrão do argumento de palavra-chave `preserve_reasoning` do modelo de chat. O servidor agora registra o estado efetivo deste kwarg e emite um aviso quando ele está habilitado por padrão em modelos que o suportam.